GPU-серверы с NVIDIA RTX PRO 6000

NVIDIA RTX PRO 6000 — профессиональная карта поколения Blackwell с 96 ГБ памяти GDDR7 с коррекцией ошибок (ECC). Это больше, чем у H100 PCIe с её 80 ГБ, и вдвое больше, чем у RTX 6000 Ada. Главная причина взять GPU-сервер с RTX PRO 6000 — запустить на одной карте модель, которой раньше требовались две, и не возиться с разделением весов между ускорителями. При этом карта остаётся полноценной графической: в ней есть RT-ядра для трассировки лучей и аппаратные кодировщики NVENC, поэтому её арендуют и под рендер, и под видео.

Три карты с похожим именем

В каталогах легко перепутать три разных поколения, и цена у них отличается в разы:

• Quadro RTX 6000 — архитектура Turing, 24 ГБ. Старая карта для графики, для современных нейросетей памяти и вычислений у неё мало.
• RTX 6000 Ada — 48 ГБ, предыдущее поколение. По устройству близка к L40S.
• RTX PRO 6000 Blackwell — 96 ГБ GDDR7, тензорные ядра пятого поколения с форматами FP4, FP6 и FP8. Именно она собрана на этой странице.

У Blackwell тоже есть варианты. Server Edition рассчитана на стойку: пассивное охлаждение, потребление до 600 Вт, обдув идёт от вентиляторов сервера. Max-Q — рабочая версия на 300 Вт с турбиной; её проще разместить по несколько штук в одном корпусе, но под длинной нагрузкой она работает на более низких частотах. Если в строке тарифа написано просто «RTX PRO 6000», уточните у хостера вариант: от него зависит скорость и то, доступен ли MIG.

Что помещается в 96 ГБ

Оценка на пальцах: в FP16 модель занимает около 2 ГБ на миллиард параметров, в 8-битной квантизации — около 1 ГБ, в 4-битной — 0,5–0,6 ГБ. Сверху нужен запас под KV-кеш, и он растёт с длиной контекста и числом одновременных запросов.

• FP16 без квантизации — модели примерно до 30–40 млрд параметров с умеренным контекстом.
• 8 бит — модель на 70 млрд параметров целиком на одной карте, и ещё остаётся место под кеш.
• 4 бита — модели класса 100–120 млрд параметров. Поддержка FP4 в тензорных ядрах ускоряет такой инференс, если ваш движок умеет этот формат.
• Дообучение — LoRA для моделей на 13–30 млрд в 16-битном формате и QLoRA для 70 млрд. Полное обучение крупных моделей — задача не для этой карты.
• Изображения и видео — генерация картинок большими пакетами, тяжёлые модели генерации видео, которым тесно в 24–48 ГБ.
• Рендер и 3D — сцены с огромными текстурами, которые не влезают в память игровых карт, офлайн-рендер, перекодирование видео на NVENC.

MIG, несколько карт и когда лучше H100

Server Edition поддерживает MIG: карту можно разрезать на четыре изолированных экземпляра примерно по 24 ГБ, у каждого своя память и свои вычислительные блоки. Это удобно, когда на одном сервере живут несколько небольших моделей или несколько пользователей. Если в тарифе указана доля карты с частью памяти, это уже vGPU или MIG-срез, а не целая карта: сравнивайте объём памяти, а не название модели.

Тарифы «×2» и «×4» дают 192 и 384 ГБ в сумме, но NVLink у RTX PRO 6000 нет, карты обмениваются данными через PCIe 5.0. Для инференса это обычно не мешает: на каждой карте может работать своя копия модели, а деление одной модели между двумя картами на PCIe работает приемлемо. Для обучения, где карты постоянно синхронизируют градиенты, медленная связь съедает выигрыш. Если планируется многокарточное обучение, смотрите серверы с H100 с NVLink.

Драйвер, CUDA и образ

Compute capability у карты 12.0. Ей нужна ветка драйвера R570 или новее и CUDA 12.8 и выше. В старых образах с CUDA 12.4 карта либо не определится, либо фреймворк не найдёт ядер под неё. После выдачи сервера проверьте вывод nvidia-smi, версию CUDA в контейнере и то, что PyTorch или ваш движок инференса собраны с поддержкой этой архитектуры.

Почасовая оплата или месяц

Аренда сервера с RTX PRO 6000 в каталоге стоит примерно от 66 000 до 460 000 ₽ в месяц, у типичного тарифа около 140 000 ₽. Нижняя граница — одна карта в облаке, верхняя — выделенные машины на четыре карты. Большинство тарифов оплачивается по часам, и для пробного запуска, разовой обработки данных или рендера к сроку это выгоднее: заплатите только за часы работы. Если карта будет занята больше двух третей месяца, сравните с помесячной ценой и с разделом выделенных серверов с GPU.