CMP 170HX 64 GB
против A100, V100
и RTX 4090 48 GB
Что брать под инференс LLM, если A100 не по бюджету. Разбор по спецификациям, открытому бенчмарку и цене за гигабайт памяти. Без попытки выдать майнинговую карту за A100: где она закрывает задачу, а где нет.
Так говорить нельзя
«CMP 170HX это дешёвая A100». У неё 70 SM вместо 108, урезанные тензорные ядра, PCIe Gen1 x4, нет NVLink и ECC, только Linux и никакой поддержки NVIDIA.
Так правда
Это карта уровня A100 по объёму и полосе памяти и уровня RTX 3090 по вычислениям. На задачах, где узкое место память, она закрывает то, что иначе требовало бы A100.
Таблица: CMP 170HX 64 GB против серверных и потребительских GPU
PCIe-исполнения, потому что 170HX обычная PCIe-карта. Цены по российскому рынку на сентябрь 2026, ориентир.
| Параметр | CMP 170HX 64 GB | A100 80 GB PCIe | A100 40 GB PCIe | V100 32 GB | RTX 4090 48 GB (мод) | RTX 5090 32 GB |
|---|---|---|---|---|---|---|
| Кристалл | GA100, 70 SM | GA100, 108 SM | GA100, 108 SM | GV100, 80 SM | AD102 | GB202 |
| Память | 64 ГБ HBM2e | 80 ГБ HBM2e | 40 ГБ HBM2 | 32 ГБ HBM2 | 48 ГБ GDDR6X | 32 ГБ GDDR7 |
| Полоса памяти | ~1 355 ГБ/с | ~1 935 ГБ/с | 1 555 ГБ/с | 900 ГБ/с | ~1 000 ГБ/с | ~1 790 ГБ/с |
| Тензорные ядра | сильно урезаны | 312 TFLOPS FP16 | 312 TFLOPS FP16 | 125 TFLOPS FP16 | полные, FP8 | полные, FP4 |
| Интерфейс | PCIe Gen1 x4 | Gen4 x16 | Gen4 x16 | Gen3 x16 | Gen4 x16 | Gen5 x16 |
| NVLink · ECC | нет · нет | есть · есть | есть · есть | есть · есть | нет · нет | нет · нет |
| Исполнение | пассивная, 300 Вт | пассивная, 300 Вт | пассивная, 250 Вт | пассивная, 250 Вт | активная, 450 Вт, мод | активная, 575 Вт |
| ОС | только Linux | любая | любая | любая | любая | любая |
| Цена, ориентир | 320 000 ₽ | ~1,17 млн новая · 400–550 тыс. б/у | 250–400 тыс. б/у | 120–200 тыс. б/у | 300–380 тыс. | 280–350 тыс. |
| Рублей за ГБ памяти | 5 000 | 14 600 · 5 000–6 900 | 6 250–10 000 | 3 750–6 250 | 6 250–7 900 | 8 750–10 900 |
Где 170HX закрывает задачу A100, а где нет
Инференс состоит из двух фаз, и карта ведёт себя в них по-разному. Это главное, что нужно понять до покупки.
Близко к A100 Decode, генерация токенов
Упирается в полосу памяти. По открытому бенчмарку на vLLM одна 170HX даёт 93–99 ток/с на Qwen3.6-27B W8A8 в одном потоке, 130–140 на W4A16, 203–206 на MoE 35B-A3B. 64 ГБ вмещают модель 27–35B в 8 битах вместе с большим KV-кэшем на одной карте.
Хуже A100 Prefill, обработка промпта
Упирается в вычисления. Урезанные тензорные ядра плюс PCIe Gen1 x4 дают ориентировочно 65–75 % от A100. Для RAG с контекстом 4–8 тысяч токенов при 50+ одновременных пользователях разница заметна. При 10 пользователях почти нет.
Выделенный инференс 27–35B
Один инстанс vLLM на карту под одного клиента или сервис. A100 здесь избыточна по compute и дорога по памяти.
Эмбеддинги, реранкеры, Whisper
Батчевые задачи, где важна пропускная способность и объём, а не время первого токена.
70B на двух картах
128 ГБ под 70B в 8 битах через pipeline-parallel. Тензор-параллелизм упирается в PCIe x4, замерять на своей модели.
Обучение, ECC-контуры, батчинг 100+
Тензорные ядра урезаны, NVLink закрыт фьюзами, ECC нет. Здесь остаётся A100 или H100, а 170HX её разгружает на второстепенных сервисах.
Сколько стоит гигабайт HBM и стоимость запроса
Для инференса память это главный ресурс: она определяет, какая модель поместится и какой KV-кэш можно держать. Поэтому считаем рубли за гигабайт и рубли за тысячу запросов.
На профиле RAG с 4 000 токенов контекста, 300 токенов ответа и 10 одновременных пользователей 24 часа в сутки два года 170HX даёт около 2,6 ₽ за тысячу запросов, новая A100 около 10 ₽, аренда A100 по 250 ₽/час около 36 ₽. Против б/у A100 за 450 000 ₽ разрыв почти исчезает: она лучше держит prefill и батчинг, и экономика по запросам сравнивается. Аргументами остаются память за рубль, наличие на складе и то, что карта не серая. Калькулятор с вашими цифрами на карточке товара.
Альтернатива A100 дешевле: что ещё есть на рынке
Если задача не требует ECC и NVLink, вариантов несколько. Честно про каждый.
| Вариант | Плюсы | Минусы | Когда брать |
|---|---|---|---|
| CMP 170HX 64 GB | 64 ГБ HBM2e, цена, наличие в Москве, серверное исполнение | PCIe x4, нет NVLink и ECC, только Linux, б/у без гарантийного срока | Выделенный инференс, эмбеддинги, ASR, dev-контуры |
| A100 80 GB б/у | Полный compute, NVLink, ECC, любая ОС | Серый импорт без гарантии, 400–550 тыс., срок поставки | Высокая конкурентность, RAG с длинным контекстом, критичный контур |
| RTX 4090 48 GB (мод) | Полные тензорные ядра, FP8 | Мод китайский, активное охлаждение, 450 Вт, 48 ГБ GDDR6X с полосой 1 ТБ/с | Смешанные задачи, где нужен compute на потребительском бюджете |
| RTX 5090 32 GB | Новая, гарантия, FP4 | 32 ГБ, 575 Вт, 3–4 слота, не серверная | Модели до 30B в 4 битах, рабочие станции |
| 2 × RTX 3090 24 GB | Дёшево, 48 ГБ суммарно | Две карты, две платформы питания, NVLink только парой, GDDR6X | Домашние и учебные стенды |
| Аренда A100 в облаке | Ноль капекса, включили и работает | ~150 000 ₽ в месяц за карту 24/7: одна 170HX окупается примерно за два месяца | Пилоты до трёх месяцев, пиковые нагрузки |
Вопросы про сравнение
CMP 170HX это аналог какой видеокарты?
По памяти и полосе: A100 40 GB и выше. По вычислениям: RTX 3090 или A10. Это карта для задач, где память важнее compute.
Быстрее ли A100 на генерации токенов?
Нет, но близко: полоса 1,35 ТБ/с против 1,94 у A100 80 GB. На decode разница в пределах 20–30 %, на prefill 170HX отстаёт заметнее.
Можно ли собрать из четырёх 170HX замену DGX?
Нет. Без NVLink и на PCIe x4 тензор-параллелизм одной большой модели упирается в интерконнект. Четыре карты это четыре независимых инстанса или pipeline-parallel.
Почему б/у A100 иногда выгоднее?
При высокой конкурентности и длинном контексте A100 обслуживает больше запросов в час, и стоимость запроса сравнивается. При 10 пользователях и коротких контекстах 170HX дешевле в 2–4 раза.
Решили, что 170HX закрывает вашу задачу? Первая карта со скидкой
Напишите, что будете крутить: модель, контекст, число пользователей. Вернём счёт на первую карту и КП на партию в тот же день. Не заработала за 10 дней, вернули деньги.
- Первая карта 270 000 ₽ · обмен или возврат 10 дней
- Партия от 10 карт по 300 000 ₽ · склад в Москве
- Проверка перед отгрузкой с протоколом · гарантийного срока нет, карты б/у