Все товары 
NVIDIA A16 в аренду: четыре GPU на одной плате и что из них достаётся вашей машине
NVIDIA A16 устроена иначе, чем большинство серверных карт. На одной плате PCIe стоят четыре отдельных графических процессора поколения Ampere, у каждого своя память GDDR6 на 16 ГБ, всего 64 ГБ на плату при потреблении около 250 Вт. Карту проектировали под виртуальные рабочие столы и видео: одну плату делят между многими пользователями, а аппаратных кодеков на ней хватает на десятки видеопотоков. Вычислительная мощность каждого из четырёх GPU при этом скромная, заметно ниже, чем у A10 или L4. Поэтому аренда сервера с A16 оправдана там, где важны число пользователей и потоков, а не скорость одной большой модели.
Что значит «A16» в строке тарифа
Главная ловушка при выборе: надпись «A16» почти никогда не означает всю плату с 64 ГБ. Обычно виртуальной машине достаётся один из четырёх GPU с его 16 ГБ или vGPU-доля одного GPU с частью его памяти. Поэтому видеопамять в тарифах каталога начинается от 2 ГБ: это небольшие профили vGPU, рассчитанные на рабочий стол, а не на нейросети.
- vGPU-доля (от 2 до 8 ГБ). Часть одного GPU; вычислительные блоки делятся с соседями по времени. Подходит для удалённого рабочего стола, просмотра чертежей и лёгкой графики.
- Один GPU целиком (16 ГБ). Максимум, который одна модель или одно приложение может получить на A16. Вариант для инференса небольших моделей и кодирования видео.
- Несколько GPU (32, 64 или 128 ГБ). Два, четыре или восемь отдельных процессоров, то есть до двух плат. Общего пула памяти здесь нет: NVLink у A16 нет, разделения MIG тоже. Делить модель между GPU через шину PCIe можно, но медленно. Такие тарифы выгодны, когда нужно запустить несколько независимых копий сервиса или обслужить много рабочих мест.
Нейросети: что помещается в 16 ГБ одного GPU
Ориентир по памяти: в FP16 на миллиард параметров уходит около 2 ГБ, в 8 битах около 1 ГБ, в 4 битах 0,5–0,6 ГБ, и сверху кэш контекста (KV-cache), который растёт с длиной диалога. Для одного GPU A16 это значит:
- модели на 3–4 млрд параметров работают в FP16 с запасом на длинный контекст;
- модели на 7–8 млрд удобно запускать в 8 или 4 битах; в FP16 веса займут почти всю память и на контекст места не останется;
- модели на 13–14 млрд помещаются только в 4 битах и с коротким контекстом;
- распознавание текста (OCR), эмбеддинги для поиска по документам, классификаторы и небольшие модели распознавания речи — комфортная нагрузка;
- генерация изображений в Stable Diffusion работает, но заметно медленнее, чем на картах класса RTX.
Пропускная способность памяти у каждого GPU невысокая, поэтому токены генерируются неторопливо даже на маленькой модели. Обучать модели на A16 нет смысла: QLoRA для модели на 7 млрд технически поместится в 16 ГБ, но займёт в разы больше времени, чем на A100. Для чат-бота с быстрым ответом или модели крупнее 14 млрд берите карту с большей памятью и вычислительной мощностью.
Рабочие столы, CAD и видео
Сильная сторона A16 — VDI. Через NVIDIA vGPU одна плата обслуживает много удалённых рабочих мест: офисные приложения с аппаратным ускорением графики, просмотр CAD-моделей и чертежей, лёгкое 3D. GPU-сервер с A16 подходит, если команде нужны удалённые рабочие станции, а покупать мощный компьютер каждому дорого. Для тяжёлого рендера и сложных сцен одного маленького GPU мало.
Для видео важно, что у каждого из четырёх GPU свои кодировщики NVENC и декодеры NVDEC. Сервер с несколькими GPU перекодирует много потоков одновременно в H.264 и HEVC, почти не нагружая процессор. Декодирование AV1 поддерживается, а аппаратного кодирования в AV1 у поколения Ampere нет.
Драйверы, лицензия vGPU, оплата и цены
- CUDA. Compute capability у A16 — 8.6: нужен CUDA 11.1 или новее и драйвер, который его поддерживает. Современные сборки PyTorch и контейнеры на CUDA 12 работают; BF16 и TF32 поддерживаются, FP8 нет.
- Драйвер в vGPU. В машине с vGPU ставится гостевой драйвер, версия которого должна сочетаться с драйвером на хосте провайдера. Обычный драйвер с сайта NVIDIA может не заработать, поэтому спросите, какой образ или пакет использовать.
- Лицензия vGPU. Программное обеспечение NVIDIA vGPU лицензируется отдельно. Провайдер может включать лицензию в цену, а может нет: уточните до оплаты и заодно спросите, разрешены ли в вашем профиле вычисления CUDA, — это зависит от типа лицензии.
- Почасовая или месячная оплата. По часам в каталоге считается лишь малая часть тарифов с A16, остальные помесячные. Рабочие столы и транскодирование обычно работают постоянно, и месячный тариф для них выгоднее. Почасовой удобен для проверки: прогнать свою модель или видеоконвейер, посмотреть вывод nvidia-smi и решить. Подробнее — в подборке VPS с почасовой оплатой.
Все тарифы с A16 в каталоге облачные или VPS. Цена — примерно от 7 тысяч до 445 тысяч рублей в месяц, середина диапазона — около 55 тысяч. Внизу стоят vGPU-доли с парой vCPU, вверху — серверы с несколькими GPU, десятками vCPU и сотнями гигабайт оперативной памяти. Сравнивайте не только итоговую цену, но и то, сколько видеопамяти и целых GPU вы получаете за эти деньги.