Все товары 
Аренда сервера с H100: SXM или PCIe, что помещается в 80 ГБ и как не переплатить
NVIDIA H100 — ускоритель поколения Hopper для обучения и инференса крупных моделей. Аренду сервера с H100 выбирают тогда, когда A100 уже не хватает по скорости, а модель или датасет требуют 80 ГБ быстрой памяти на карту. В таблице выше собраны облачные тарифы и выделенные серверы с одной, двумя и четырьмя картами; месячная цена в каталоге примерно от 108 000 до 435 000 ₽, середина — около 245 000 ₽. Большинство тарифов можно оплачивать по часам.
SXM, PCIe и NVL: три разных H100 под одним названием
Под маркой H100 продаются заметно разные карты, и в тарифе их часто подписывают просто «H100 80GB».
- H100 SXM5, 80 ГБ HBM3. Пропускная способность памяти около 3,35 ТБ/с, потребление до 700 Вт. Ставится на платы HGX, где карты связаны через NVLink со скоростью до 900 ГБ/с. Это самый быстрый вариант для обучения на нескольких картах.
- H100 PCIe, 80 ГБ HBM2e. Около 2 ТБ/с и 350 Вт, обычная карта в слоте PCIe. Пару карт можно соединить мостом NVLink, но это опция, а не правило. Медленнее SXM, зато дешевле и чаще встречается в облаке.
- H100 NVL, 94 ГБ HBM3. Карта PCIe с увеличенной памятью, рассчитанная на работу парами через мосты NVLink. Лишние 14 ГБ на карту помогают с длинным контекстом при инференсе.
Как понять, что в тарифе. Ищите в названии SXM, PCIe или NVL; потребление 700 Вт указывает на SXM, 350–400 Вт — на PCIe-версию. Для многокарточных конфигураций спросите, есть ли NVLink и между какими картами: четыре PCIe-карты без мостов обмениваются данными только через шину, и при обучении с разбиением модели это заметно тормозит. После запуска проверьте карту командой nvidia-smi (название и лимит мощности), а связи между картами — nvidia-smi topo -m.
Что помещается в 80 ГБ
Ориентир: в FP16 модель занимает около 2 ГБ на миллиард параметров, в 8 битах — около 1 ГБ, в 4 битах — 0,5–0,6 ГБ, плюс запас под KV-кэш, который растёт с длиной контекста и числом одновременных запросов.
- Модели на 70 млрд параметров в FP8 помещаются на одну карту 80 ГБ при умеренном контексте. Для длинного контекста и многих пользователей удобнее H100 NVL или две карты.
- Те же 70B в FP16 занимают около 140 ГБ и требуют двух карт с разбиением модели (tensor parallel).
- В 4 битах на одной карте остаётся много места под контекст и параллельные запросы для моделей до 70B.
- Полное дообучение моделей на 7–13 млрд параметров укладывается в одну-две карты; градиенты и состояние оптимизатора занимают в несколько раз больше памяти, чем сами веса.
- LoRA и QLoRA для 70B выполняют на нескольких картах, QLoRA при небольшом батче — иногда и на одной.
Главное отличие Hopper от прошлого поколения — Transformer Engine с форматом FP8: на поддерживающих его фреймворках инференс и обучение трансформеров идут заметно быстрее, чем в FP16, а модель занимает вдвое меньше памяти. Для генерации изображений и рендера H100 избыточна: такие задачи дешевле решать на L40S или картах класса RTX.
MIG, драйверы и CUDA
H100 поддерживает MIG: карту можно разделить на изолированные части, до семи, каждая со своей долей памяти и вычислительных блоков. В облаке так продают дробный GPU. Для инференса небольшой модели это экономно, но для обучения и крупных моделей нужна полная карта — проверьте в тарифе объём видеопамяти, а не только название.
Compute capability у H100 — 9.0. Нужна CUDA не ниже 11.8, лучше 12.x, и драйвер NVIDIA для дата-центров соответствующей версии. В образе проверьте версию драйвера, CUDA и сборку PyTorch: старые образы под A100 или V100 запустятся, но без FP8 и с потерей скорости.
Почасовая оплата или месяц
Карта дорогая, поэтому способ оплаты влияет на итог сильнее, чем на младших GPU. Почасовой тариф подходит для экспериментов, подбора гиперпараметров и разовых прогонов: запустили, обучили, сохранили чекпоинт во внешнее хранилище, удалили сервер. Подробнее об этом — в разделе о почасовой оплате. Если H100 в аренду нужна под сервис, который отвечает пользователям круглые сутки, или под обучение на недели, месячный тариф или выделенный сервер с GPU обычно выходит дешевле.
Обучение сразу на нескольких серверах требует InfiniBand или другой быстрой сети между узлами. В каталоге её наличие указано не всегда — уточняйте до оплаты.
Если FP8 не нужен, а бюджет ограничен, сравните с A100: она дешевле и тоже имеет 80 ГБ, но медленнее и без FP8. Старшая H200 даёт 141 ГБ памяти и подходит, когда модель не помещается в 80–94 ГБ.