NVIDIA CMP 170HX 64 GB:
HBM2e для инференса
за 320 000 ₽
NVIDIA CMP 170HX с разблокированной памятью: кристалл GA100, как у A100, и 64 ГБ HBM2e с полосой около 1,3 ТБ/с. Для парка инференса это 5 000 ₽ за гигабайт HBM против 6 000 и выше у б/у A100 и 14 000 у новой. Партия лежит в Москве и уже уходит в парки хостеров: тираж карты ограничен, новых не будет.
Так говорить нельзя
«Дешёвая A100». У карты урезаны тензорные ядра, интерфейс PCIe Gen1 x4, нет NVLink, нет ECC, работает только под Linux и не поддерживается NVIDIA.
Так правда, и это проверяемо
Это карта для инференса, где узкое место память: генерация токенов, эмбеддинги, ASR, dev-контуры. 64 ГБ HBM2e на одной PCIe-карте за цену одной потребительской видеокарты.
Вы покупаете железо в парк, а не на витрину. Поэтому на странице только измеренные цифры, честно помеченные оценки и протокол приёмки, после которого решение принимает ваш инженер, а не наш менеджер. Первую карту продаём со скидкой: не заработала у вас, меняем или возвращаем деньги в течение 10 дней.
Куда карта встаёт в парке хостера и интегратора
Главный вопрос не «сколько токенов в секунду», а «какую услугу или контур на этом можно продать». Ниже распределение по задачам без попытки натянуть карту на всё сразу.
| Задача | Пригодность | Почему |
|---|---|---|
| Выделенный инференс-сервер 27–35B под клиента (vLLM, один инстанс на карту) | Профильная | Модель в 8-битном кванте и большой KV-кэш целиком на одной карте. Это продаваемая услуга с первого дня. |
| Эмбеддинги и переиндексация корпусов | Профильная | Батчевая, память-bound, нечувствительна к задержке. Освобождает дорогие карты полностью. |
| Реранкер и мелкие модели в цепочке RAG | Профильная | Короткие входы, большой поток, масштабируется отдельными инстансами на карту. |
| Whisper и распознавание речи для голосовых роботов | Профильная | 64 ГБ вмещают крупную модель и большой батч на одной карте. |
| Dev-, test- и staging-контуры, песочницы для клиентов | Профильная | Разработка перестаёт занимать боевые карты. Самый быстрый способ окупить закупку. |
| On-prem LLM у корпоративного заказчика без требования ECC | Профильная | Две карты дают 128 ГБ HBM за 640 000 ₽. Для внедренца это иная экономика проекта. |
| Публичная аренда «GPU с 64 ГБ» с высокой конкурентностью | С проверкой | Prefill слабее A100 примерно на треть. Ставку аренды и SLA считать по замеру, а не по памяти. |
| Одна модель 70B+ через тензор-параллелизм на нескольких картах | С проверкой | Упирается в PCIe Gen1 x4 и отсутствие NVLink. Реалистичнее pipeline-parallel или модель поменьше на карту. |
| Контур с требованием ECC по регламенту заказчика | Не подходит | ECC нет физически. Такой контур остаётся на A100, карта его разгружает, но не заменяет. |
| Обучение и дообучение моделей | Не подходит | Тензорные ядра урезаны, NVLink закрыт фьюзами. Это карта инференса, а не тренировки. |
| Windows, vGPU, проброс долей карты в виртуалки | Не подходит | Только Linux с ядром 6.8+, карта отдаётся хосту или одной VM целиком. |
Площадка Что проверить у себя до поставки
- Linux с ядром 6.8 и выше и возможность зафиксировать версию драйвера. Обновлять его вслепую нельзя.
- Слот PCIe x16 механически, хотя карта договаривается на Gen1 x4. В один 2U-сервер обычно встают 2–4 карты.
- 300 Вт на карту плюс запас блока питания и мощности стойки.
- Продув шасси: карта пассивная, серверного исполнения, рассчитана на поток воздуха корпуса. В десктоп без доработки не ставится.
- Кто сопровождает стек. Поддержки вендора нет: либо ваша команда, либо наш регламент сопровождения в договоре.
Что это за карта и откуда у неё 64 гигабайта
CMP 170HX выпущена NVIDIA в 2021 году для майнинга на том же кристалле GA100, что и A100. Печатная плата почти идентична A100 40 GB: тот же интерпозер, тот же стек HBM2e. Отличия в прошивке, фьюзах и урезанной обвязке питания.
GA100, но обрезанный
70 активных SM против 108 у A100. FP32 заводски задушен в 32 раза, тензорные ядра сильно урезаны против 312 TFLOPS FP16 у A100. Не-тензорный FP16 около 42 TFLOPS.
8 → 64 ГБ через дыру в SEC2
Эксплойт DMA-overflow в контроллере безопасной загрузки: патченная прошивка GSP переполняет буфер и пишет в привилегированные регистры. Объём памяти переключается регистром FBPA_CFG1. Мод открытый, репозиторий в § 12.
Снимается тормоз FP32
Тем же модом отключается делитель 1/32, и FP32 поднимается примерно до 92 % от A100 80 GB. Плюс мода, но именно FP32; тензорная производительность остаётся урезанной.
NVLink, PCIe, ECC
NVLink выключен физически и не разлочивается. PCIe остаётся Gen1 x4. ECC нет. Работает только Linux с ядром 6.8+ и конкретной версией драйвера.
Сильная сторона Память-bound задачи
Генерация токенов упирается в полосу памяти, а не в вычисления. 64 ГБ HBM2e позволяют держать целиком 27–35B модель в 8-битном кванте вместе с большим KV-кэшем на одной карте, без тензор-параллелизма.
Слабая сторона Обработка промпта
Prefill это вычислительная задача. Урезанные тензорные ядра плюс PCIe Gen1 x4 дают ориентировочно 64–75 % от A100. Для длинных контекстов при высокой конкурентности это самое чувствительное место, и именно его надо измерять на тесте.
Что уже измерено на одной карте
Открытый набор бенчмарков на разлоченной 170HX 64 GB: vLLM 0.24.0, PyTorch + CUDA, одиночный поток, temperature 0, vBIOS 300 Вт. MTP это спекулятивное декодирование Multi-Token Prediction, k глубина.
| Модель и квант | Вес в VRAM | Decode, ток/с | С MTP | Prefill, ток/с |
|---|---|---|---|---|
| Qwen3.6-27B · W8A8 Int8 | 29,1 ГиБ | 92,6 – 99,4 | +146 % при k=4 | 3 471 (пик, ctx 2048) |
| Qwen3.6-27B · W4A16 GPTQ g128, Marlin | 18,1 ГиБ | 129,8 – 139,5 | +106 % при k=3 | — |
| Qwen3.6-35B-A3B · MoE W8A8, 256 экспертов top-8 | 39,8 ГиБ | 203 – 206 | +32 % при k=2 | высокая дисперсия |
Оговорка, которую мы делаем сами: в этом наборе нет прогонов A100. Базой сравнения там служат RTX 5090 и RTX PRO 6000. Все цифры A100 на этой странице рыночные оценки, и на тесте они заменяются реальным прогоном на вашей системе.
Против того, что вы купили бы вместо неё
Для парка инференса конкуренты это б/у A100 80 GB, новая A100 и потребительские карты с 24–32 ГБ. Сравниваем в PCIe-исполнении: 170HX обычная PCIe-карта, SXM без платформы HGX не поставить.
Развёрнутое сравнение с A100, V100, RTX 4090 48 GB и RTX 5090, а если выбираете карту под конкретную модель, есть гайд по видеопамяти для LLM 70B.
| Параметр | CMP 170HX 64 GB | A100 80 GB PCIe, б/у | A100 80 GB PCIe, новая | RTX 5090 32 GB |
|---|---|---|---|---|
| Память | 64 ГБ HBM2e | 80 ГБ HBM2e | 80 ГБ HBM2e | 32 ГБ GDDR7 |
| Пропускная способность | ~1 355 ГБ/с | ~1 935 ГБ/с | ~1 935 ГБ/с | ~1 790 ГБ/с |
| Тензорные ядра | сильно урезаны | 312 TFLOPS FP16 | 312 TFLOPS FP16 | полные, есть FP4 |
| Интерфейс | PCIe Gen1 x4 | PCIe Gen4 x16 | PCIe Gen4 x16 | PCIe Gen5 x16 |
| NVLink · ECC | нет · нет | есть · есть | есть · есть | нет · нет |
| Исполнение | пассивная, серверная | пассивная, серверная | пассивная, серверная | активная, 575 Вт, 3–4 слота |
| Поддержка вендора | нет, кастомный стек | истекла или серая | полная | потребительская |
| Цена, ориентир | 320 000 ₽ | 400–550 тыс. ₽ | ~1,17 млн ₽ | 280–350 тыс. ₽ |
| Рублей за ГБ памяти | 5 000 | 5 000–6 900 | ~14 600 | 8 750–10 900 |
Мульти-GPU Честно про масштабирование
Без NVLink и на PCIe Gen1 x4 обмен между картами очень медленный. Тензор-параллелизм одной большой модели на несколько 170HX упирается в интерконнект. Рабочая схема для хостера: отдельный инстанс vLLM на карту, много клиентов и много моделей. Растягивать одну гигантскую модель на четыре карты нужно проверять отдельно.
Ориентир рынка Память за рубль
Калькулятор стоимости запроса
Считать «токены в секунду на рубль» для RAG неправильно: запрос это длинный контекст на вход (prefill) и короткий ответ (decode). Мерить нужно время полного запроса. Все суммы в рублях, подставьте свои цены, тариф и профиль нагрузки.
Коэффициент при конкурентности отражает, что vLLM на A100 лучше держит батчинг многих одновременных пользователей. Дефолты 170HX prefill/decode взяты из бенчмарка Qwen3.6-27B W8A8; цифры A100 рыночная оценка и подлежат замене реальным прогоном. Подставьте 450 000 ₽ в цену A100, чтобы сравнить с б/у картой: разрыв почти исчезает, и аргументом остаются память за рубль и наличие на складе.
Окупаемость при сдаче в аренду
Для хостера карта это не расход, а актив со ставкой в час. Подставьте свою ставку за выделенную GPU с 64 ГБ, ожидаемую загрузку и стоимость юнита в стойке. Ставка по умолчанию заведомо ниже ставок на A100, потому что клиент получает карту без ECC и без поддержки вендора.
Расчёт не учитывает налоги, продажи и маркетинг услуги, а также остаточную стоимость карты, которую честно считать нулевой. Зато учитывает, что сервер под карты тоже стоит денег: доля шасси задаётся отдельным полем.
Первая карта со скидкой, потом партия
Первую карту вы покупаете за 270 000 ₽ вместо 320 000, и она остаётся у вас. Если в течение 10 дней с момента получения она не стартует, не видит 64 ГБ или не проходит стресс памяти, меняем или возвращаем деньги, обратная доставка за наш счёт. Никаких договоров хранения и пересылок туда-обратно: карта едет к вам один раз. Перед отгрузкой каждая карта проходит проверку: запуск, определение 64 ГБ, тест памяти. Протокол прилагаем. Полный протокол ниже для вашего стенда: по нему карту стоит прогнать до постановки в бой.
Полный тест VRAM
Стресс всех 64 ГБ паттернами записи-чтения, а не просто определение объёма драйвером. Логи ошибок, температур и троттлинга.
Фиксация стека: llama.cpp и vLLM
Сборка обоих движков, протокол версий ядра и драйвера. Отдельно документируем, какая версия драйвера стоит на картах и переживает ли мод обновление.
Ваша модель под вашей нагрузкой
Prefill и decode раздельно: одиночный поток и конкурентность 10 / 50 / 100 пользователей. Именно конкурентность определяет ставку аренды и SLA.
Мониторинг ошибок CUDA
Непрерывный сбор XID-событий, температур и просадок частот на всём горизонте под нагрузкой.
Перезагрузки и холодный старт
Мод требует холодной загрузки. Проверяем персистентность 64-гигабайтного режима через циклы ребута и обесточивания.
Сопоставление с вашей текущей картой
Тот же сервис, те же запросы, сравнительная таблица метрик. С ней закупку легко защитить внутри компании.
Сценарий закупки От одной карты к партии
Первая карта со скидкой на ваш стенд, затем партия от 10 карт по 300 000 ₽ на реальный трафик, затем докупка со склада по мере загрузки. На каждую карту партии действуют те же 10 дней на обмен или возврат. Партия уходит в порядке очереди: карта снята с производства, докупить через год может быть неоткуда.
Сервер под ключ, а не только карты
Если собирать машину самим некогда, поставляем сервер целиком: платформа, карты, проверка под нагрузкой. Конфигурацию и срок считаем под вашу задачу, ответ в течение рабочего дня.
8 карт в 4U
Серверная платформа на AMD EPYC под восемь двухслотовых GPU, с продувом и резервированным питанием 2+1 по 2200 Вт. С CMP 170HX это 512 ГБ HBM2e в одной машине: восемь независимых инстансов под инференс для клиентов.
3–4 карты на задачу
Типовая раскладка для колл-центра или ассистента по документам: одна карта под LLM, одна под распознавание речи и RAG, одна в резерве. Всё в вашем контуре, данные наружу не уходят.
RTX PRO 6000 и другие GPU
Если в задаче обучение, ECC или тяжёлый prefill на длинных контекстах, подбираем серверные GPU NVIDIA RTX PRO 6000 Blackwell и честно говорим, где они нужны, а где переплата.
Всё для стойки
Процессоры, память, SSD и HDD, RAID-контроллеры, блоки питания, системы охлаждения, стойки и шкафы. Поставляем отдельно или в составе сервера.
Флагман Суперкомпьютер в одной стойке: 8 × NVIDIA H200
Для тех, кому нужно обучение и дообучение моделей, а не только инференс. Одна машина вместо небольшого кластера: восемь H200 на платформе HGX связаны NVLink, памяти 1,1 ТБ HBM3e на всех.
| Графика | NVIDIA HGX H200, 8 GPU SXM по 141 ГБ HBM3e |
| Процессоры | 2 × Intel Xeon Platinum 8558, 48 ядер |
| Оперативная память | 2 ТБ DDR5, 32 модуля по 64 ГБ |
| Накопители | NVMe 960 ГБ и U.2 3,84 ТБ, 4 диска |
| Сеть | 8 портов 400G ConnectX-7 и карта 200G |
| Питание | 6 × 3000 Вт, 80 PLUS Titanium, схема 4+2 |
Сверх железа Модели и агенты в вашем контуре
По запросу разворачиваем стек целиком: vLLM под модели, распознавание и синтез речи, поиск по документам компании, ИИ-агентов под ваши процессы. Это основная работа Икс-Включения (X-ON), сервер для нас начало проекта, а не конец.
Гарантия: честно и без мелкого шрифта
Карты бывшие в употреблении, и гарантийного срока на них нет: ни от производителя, ни от нас. Вместо гарантии три вещи, которые реально снижают риск: проверка каждой карты перед отгрузкой, 10 дней на обмен или возврат и цена партии, в которую заложен ваш резерв на замену.
Проверка перед отгрузкой
Каждая карта проходит запуск, определение 64 ГБ и тест памяти, протокол с серийным номером прилагается. Карты дважды проверены поставщиком и один раз у нас. Не прошла, не отгружается.
10 дней на обмен или возврат
Если в течение 10 дней с момента получения карта не запускается, не видит 64 ГБ или не проходит тест памяти, меняем или возвращаем деньги, обратная доставка за наш счёт. Условие прописано в договоре поставки, а не в переписке.
Цена партии с резервом
В партии от 10 карт цена 300 000 ₽ вместо 320 000. Разница в 20 000 ₽ на карту это ваш резерв на замену: при десяти процентах отказов за год он окупается с запасом, при нуле отказов остаётся у вас.
Юрлицо, договор, закрывающие
Договор поставки, УПД и акт от российского юрлица. Продавец сейчас работает без НДС; если вам нужна поставка с НДС, обсуждаем под сделку. Условия обмена и возврата прописываются в договоре, а не в переписке.
Под пломбой и со страховкой
Каждая карта в антистатике и плёнке, коробка опечатана номерной пломбой, для партий деревянная обрешётка. Груз застрахован по объявленной стоимости, номер отправления присылаем в день отгрузки.
Памятка по стеку
К каждой карте прилагаем памятку: версия драйвера, которую нельзя обновлять, холодный старт, продув, лимит мощности, замена термопасты. Остаточную стоимость карты считайте нулевой: тираж около 17 000 штук, докупить через год может быть неоткуда.
Условия обмена и возврата, сроки отгрузки и порядок проверки фиксируются в договоре поставки под конкретную партию.
Ограничения и чек-лист приёмки
Список, который обычно скрывают. Мы его печатаем, потому что ваш инженер всё равно найдёт эти пункты, и лучше, если найдёт их здесь вместе с ответом.
- Нет ECC. Риск незаметной порчи памяти. Для контуров с регламентом на ECC это аргумент против; для инференса, эмбеддингов, ASR и dev-контуров приемлемо.
- PCIe Gen1 x4. Зашито фьюзами. Медленная загрузка весов и медленный обмен между картами.
- NVLink выключен физически. Тензор-параллелизм одной большой модели ограничен.
- Только Linux, ядро 6.8+ и конкретная версия драйвера. Обновлять драйвер вслепую нельзя.
- Нет поддержки NVIDIA. Стек кастомный, сопровождение на стороне владельца или на нашей по договору.
- Слабая ликвидность. Перепродать карту сложнее, чем A100. Считайте остаточную стоимость нулевой.
- Стресс всех 64 ГБ с логами, а не скриншот nvidia-smi с объёмом памяти.
- Несколько часов под нагрузкой с журналом температур и ошибок CUDA.
- Точные версии драйвера и ядра на поставленных картах, зафиксированные в протоколе.
- Фото платы и подтверждение модификации.
- Доказательство персистентности 64-гигабайтного режима после обесточивания и ребута.
- Открытый вопрос, который закрываем на стенде: версия драйвера. В бенчмарках упомянута ветка 610, тогда как мод работает на 580.173.02, на 610 уязвимость закрыта. Результат идёт в протокол каждой отгрузки.
Вопросы, которые задают перед покупкой
Коротко о том, что спрашивают хостеры и инженеры до звонка. Подробности выше по странице.
Что такое NVIDIA CMP 170HX 64 GB и чем она отличается от A100?
CMP 170HX — майнинговая карта NVIDIA 2021 года на том же кристалле GA100, что и A100. После разблокировки памяти 8 → 64 ГБ HBM2e она держит модель 27–35B в 8 битах на одной карте. Отличия от A100: 70 SM вместо 108, урезанные тензорные ядра, PCIe Gen1 x4, нет NVLink и ECC, только Linux. На генерации токенов близка к A100 80 GB, на обработке промпта даёт 65–75 %.
Сколько стоит CMP 170HX 64 GB и где купить в Москве?
320 000 ₽ за карту, первая карта 270 000 ₽ с обменом или возвратом в течение 10 дней, партия от 10 карт по 300 000 ₽. Склад в Москве, отгрузка транспортной компанией по России, продавец российское юрлицо с договором и закрывающими документами.
Подходит ли CMP 170HX для запуска Llama 70B или Qwen 72B?
Одна карта держит модели 27–35B в 8 битах или до 70B в 4-битной квантизации с ограниченным контекстом. Две карты дают 128 ГБ под 70B в 8 битах через pipeline-parallel, тензор-параллелизм упирается в PCIe x4. Для обучения моделей карта не подходит.
Какая производительность CMP 170HX на LLM?
По открытому бенчмарку на vLLM: Qwen3.6-27B W8A8 — 93–99 токенов в секунду decode в одном потоке, с спекулятивным декодированием до 240; W4A16 — 130–140; MoE 35B-A3B — 203–206. Prefill на 27B до 3 471 токенов в секунду.
Есть ли гарантия на CMP 170HX?
Гарантийного срока нет: карты бывшие в употреблении, производитель гарантирует только запуск и 64 ГБ. Каждая карта проходит проверку перед отгрузкой с протоколом, и в течение 10 дней с момента получения неработающая карта меняется или возвращаются деньги. Цена партии учитывает резерв на замену.
Какие требования к серверу для CMP 170HX?
Linux с ядром 6.8+, драйвер NVIDIA ветки 580 (ветка 610 закрывает разблокировку), слот PCIe x16 механически, 8-pin питание до 300 Вт, шасси с продувом: карта пассивная, серверного исполнения. Windows, vGPU и проброс частей карты не поддерживаются.
Доставляете в Казахстан?
Да. Россия и Казахстан в ЕАЭС, поэтому карты едут из Москвы транспортной компанией без таможенного оформления, до Алматы и Астаны обычно 5–7 дней. Договор и оплата в рублях с российской компанией. НДС на ввоз покупатель платит в Казахстане по заявлению о ввозе товаров, как при любом импорте из ЕАЭС. Цены в тенге и порядок покупки для Казахстана.
Материалы для вашего инженера
Первоисточники, а не пересказ. Всё, на чём построена эта страница, проверяемо.
Первая карта со скидкой, потом партия со склада
Напишите, что будете на ней крутить: модель, контекст, число клиентов, ставку аренды, если это хостинг. Вернём счёт на первую карту в тот же день, КП на партию и протокол приёмки. Не заработала, вернули деньги, вопросов нет.
- Первая карта 270 000 ₽ · обмен или возврат 10 дней
- Партия от 10 карт по 300 000 ₽ · отгрузка со склада в Москве
- Партнёрам и интеграторам: вознаграждение за приведённого покупателя, условия в договоре