Сколько видеопамяти
нужно для LLM 70B
и на чём это запустить
Таблица «модель → квантизация → гигабайты», реальные токены в секунду с одной карты 64 ГБ, что выбрать между одной большой картой и двумя по 24, и когда аренда выгоднее покупки. Без маркетинга: цифры из открытого бенчмарка и формулы, которые можно проверить.
Таблица: модель, квантизация, гигабайты видеопамяти
Вес модели плюс KV-кэш под контекст 8 000 токенов и один поток. При батчинге кэш растёт пропорционально числу одновременных запросов.
| Модель | FP16 | 8 бит (W8A8 / Q8) | 4 бита (GPTQ / Q4_K_M) | Минимальная карта | Комфортно |
|---|---|---|---|---|---|
| Llama 3.x 8B | 16 ГБ | 9 ГБ | 5 ГБ | RTX 3060 12 ГБ | любая 16+ ГБ |
| Qwen 3.6 27B | 55 ГБ | 29 ГБ | 18 ГБ | RTX 3090 24 ГБ в 4 бита | 64 ГБ в 8 бит с большим кэшем |
| Qwen 32B / QwQ 32B | 65 ГБ | 34 ГБ | 20 ГБ | RTX 4090 24 ГБ в 4 бита | 64 ГБ в 8 бит |
| Qwen 3.6 35B-A3B (MoE) | 70 ГБ | 40 ГБ | 22 ГБ | 32 ГБ в 4 бита | 64 ГБ в 8 бит, 200+ ток/с |
| Llama 3.x 70B | 140 ГБ | 72 ГБ | 40 ГБ | 64 ГБ в 4 бита | 2 × 64 ГБ или 80 ГБ в 8 бит |
| Qwen 72B | 145 ГБ | 75 ГБ | 42 ГБ | 64 ГБ в 4 бита | 2 × 64 ГБ в 8 бит |
| DeepSeek-R1 distill 70B | 140 ГБ | 72 ГБ | 40 ГБ | 64 ГБ в 4 бита | 2 × 64 ГБ |
| DeepSeek-V3 / R1 671B (MoE) | 1,3 ТБ | ~700 ГБ | ~400 ГБ | кластер, не одна карта | 8 × H200 или CPU-офлоад |
Одна карта 64 ГБ или две по 24: что лучше под 70B
Самый частый вопрос при сборке. Ответ зависит от того, чем связаны карты.
Одна карта 64 ГБ
- 70B в 4 битах целиком с кэшем на 8–16 тысяч контекста без разбиения.
- Нет обмена между картами: скорость определяется полосой памяти одной карты.
- Один слот, одно питание 300 Вт, серверное исполнение.
- Минус: 8-битный 70B не влезет, нужна вторая карта или 4 бита.
Две карты по 24 ГБ
- 48 ГБ суммарно: 70B в 4 битах помещается впритык, кэш маленький.
- Тензор-параллелизм через PCIe: на потребительских картах без NVLink каждый токен ждёт синхронизации.
- Два слота, 700–900 Вт, активное охлаждение, не в стойку.
- Плюс: полные тензорные ядра, быстрее prefill.
Для генерации ответов, чата, RAG с умеренной конкурентностью одна карта с большой памятью проще и быстрее. Для задач с длинным prefill и батчингом на 50+ пользователей выигрывают карты с полными тензорными ядрами. Комбинация «две 170HX по 64 ГБ» даёт 128 ГБ под 70B в 8 битах через pipeline-parallel: одна карта считает первую половину слоёв, вторая вторую, обмен между ними небольшой.
vLLM на карте 64 ГБ: реальные токены в секунду
Открытый бенчмарк на NVIDIA CMP 170HX 64 GB, vLLM 0.24.0, одиночный поток, temperature 0. MTP это спекулятивное декодирование.
| Модель и квант | Вес в VRAM | Decode, ток/с | С MTP | Prefill, ток/с |
|---|---|---|---|---|
| Qwen3.6-27B · W8A8 | 29,1 ГиБ | 92,6–99,4 | +146 % при k=4 | 3 471 пик |
| Qwen3.6-27B · W4A16 GPTQ | 18,1 ГиБ | 129,8–139,5 | +106 % при k=3 | — |
| Qwen3.6-35B-A3B · MoE W8A8 | 39,8 ГиБ | 203–206 | +32 % при k=2 | дисперсия |
vLLM в одну строку
vllm serve Qwen/Qwen3.6-27B-Instruct-W8A8 --max-model-len 16384 --gpu-memory-utilization 0.92. Один инстанс на карту, OpenAI-совместимый API.
llama.cpp
Сборка с CUDA, квант Q8_0 или Q4_K_M, все слои на GPU. Проще vLLM, ниже пропускная способность при батчинге.
Что нужно серверу
Linux с ядром 6.8+, драйвер ветки 580, слот PCIe x16, 8-pin питание 300 Вт, продув: карта пассивная. Windows и vGPU не поддерживаются.
Аренда GPU или покупка: где граница
Простая арифметика для карты под LLM, которая работает круглосуточно.
Аренда выигрывает, когда нагрузка эпизодическая, пилот короче трёх месяцев или нужны пиковые H100 на неделю. Покупка выигрывает, когда модель крутится постоянно: инференс под продукт, голосовой робот, RAG в компании, dev-стенд команды. Карта с 64 ГБ за 320 000 ₽ при круглосуточной работе окупает себя против аренды A100 за два месяца, дальше это чистая экономия.
Частые вопросы
Хватит ли 24 ГБ для Llama 70B?
Только в 3–4 битах с маленьким контекстом и офлоадом части слоёв в RAM, то есть медленно. Рабочий минимум для 70B это 40–48 ГБ, комфортно 64 и больше.
Что лучше для Qwen 72B: 4090 48 GB или 64 ГБ HBM?
4090 быстрее на prefill, 64 ГБ HBM держат больший кэш и больше одновременных пользователей. Для чата и RAG важнее память, для обработки длинных документов пачками важнее compute.
Можно ли запустить DeepSeek-R1 локально?
Полный 671B на одной карте нет. Дистилляты 32B и 70B да: 32B в 8 битах или 70B в 4 битах помещаются в 64 ГБ.
Сколько токенов в секунду считать нормой?
Для чата 20+ ток/с в одном потоке воспринимается как мгновенный ответ. 27B на карте 64 ГБ даёт 90+, 70B в 4 битах около 15–25.
64 ГБ HBM2e под вашу модель: первая карта со скидкой
Напишите, какую модель и в каком кванте планируете, сколько пользователей. Вернём счёт на первую карту за 270 000 ₽ и памятку по стеку. Не заработала за 10 дней, вернули деньги.
- Первая карта 270 000 ₽ · обмен или возврат 10 дней
- Партия от 10 карт по 300 000 ₽ · склад в Москве
- Проверка перед отгрузкой с протоколом · гарантийного срока нет, карты б/у