Все товары 
Аренда сервера с NVIDIA A10: что помещается в 24 ГБ и как отличить долю карты от целой
NVIDIA A10 — карта поколения Ampere с 24 ГБ памяти GDDR6 и потреблением 150 Вт. Она занимает один слот PCIe 4.0, поэтому в облаке её ставят плотно и охотно делят между виртуальными машинами. A10 рассчитана не на обучение больших моделей, а на инференс, графику и видео: в ней есть тензорные ядра с поддержкой BF16 и TF32, RT-ядра для трассировки лучей и аппаратные кодеки NVENC/NVDEC. В таблице выше только облачные тарифы с почасовой оплатой, от одной карты до сборок ×4; месячная цена — примерно от 27 тысяч до 500 тысяч рублей, медиана около 130 тысяч.
Что помещается в 24 ГБ
Считайте по правилу: в FP16 модель занимает около 2 ГБ на миллиард параметров, в 8-битном квантовании — около 1 ГБ, в 4-битном — 0,5–0,6 ГБ. Сверху нужен запас на KV-кэш, и он растёт с длиной контекста и числом одновременных запросов.
- 7–8 млрд параметров в FP16. Веса занимают 14–16 ГБ, остаётся место под контекст и несколько параллельных запросов. Это основной сценарий, ради которого берут A10 в аренду: чат-бот, классификация обращений, извлечение данных из документов.
- 13 млрд в 8 битах. Около 13–14 ГБ на веса, качество почти как у полной точности.
- Около 30 млрд в 4 битах. Помещается, но с коротким контекстом и одним-двумя пользователями: на KV-кэш остаётся мало памяти.
- Дообучение. Полный fine-tuning даже модели на 7 млрд параметров в одну карту не влезет, а QLoRA для 7B идёт нормально. Для обучения с нуля A10 не предназначена.
- Изображения, графика, видео. SDXL работает с запасом памяти. RT-ядра делают A10 удобной для удалённых графических станций, CAD и рендера с потоковой передачей картинки, а NVENC/NVDEC — для перекодирования видео в несколько качеств сразу.
Доля карты или целая A10
Часть облачных тарифов даёт не всю карту, а её долю через программный vGPU от NVIDIA: 1/6, 1/3 или 1/2 с соответствующей частью памяти — 4, 8 или 12 ГБ. MIG у A10 нет, поэтому вычислительные блоки делятся между соседями по времени, а память закреплена за каждой виртуальной машиной жёстко. Скорее всего, именно такие доли стоят в начале таблицы. Узнать их несложно:
- в колонке видеопамяти меньше 24 ГБ;
- у тарифа мало vCPU и оперативной памяти — единицы ядер вместо десятков у целой карты;
- в выводе nvidia-smi на сервере карта называется с суффиксом профиля, например A10-4Q, а не просто A10.
Доли хватает для виртуального рабочего стола с 3D-приложениями, лёгкого инференса — эмбеддингов, распознавания речи, модели на 7 млрд параметров в 4 битах на 8 ГБ — и для пробного запуска перед арендой целой карты. Целая A10 нужна, когда модель занимает больше 12 ГБ, когда важна стабильная задержка ответа без влияния соседей или когда идёт дообучение.
Несколько карт, драйверы и CUDA
NVLink у A10 нет: в тарифах ×2 и ×4 карты обмениваются данными через PCIe 4.0. Для инференса это терпимо — vLLM и похожие движки делят модель между картами, и на ×2 (48 ГБ) помещается модель около 30 млрд параметров в 8 битах, а на ×4 (96 ГБ) — модель на 70 млрд в 4 битах с запасом под контекст. Часто выгоднее другой режим: запустить на каждой карте свою копию модели 7–8B и распределять запросы между ними. Для обучения больших моделей на нескольких картах без NVLink A10 проигрывает.
Compute capability у A10 — 8.6. Архитектуру поддерживает CUDA 11.1 и новее, а для CUDA 12 и свежих сборок PyTorch нужен драйвер ветки 525 или новее. На долях карты в виртуальной машине стоит гостевой драйвер vGPU, который должен совпадать по ветке с драйвером хоста: обычный драйвер с сайта NVIDIA там может не заработать, поэтому берите образ хостера и не обновляйте драйвер самостоятельно. Сразу после выдачи проверьте nvidia-smi: модель и профиль карты, объём памяти, версии драйвера и CUDA.
Почасовая оплата и сравнение с L4 и A100
Все тарифы с A10 в каталоге считают время по часам. Медианный тариф выходит примерно в 180 рублей за час работы, самая дешёвая доля — около 40. Почасовая аренда сервера с A10 выгодна, когда карта нужна на вечер, под пакетную обработку или на тестовую неделю: удалили сервер — списания прекратились. Подробнее о нюансах — в разборе почасовой оплаты. Если GPU-сервер с A10 загружен круглосуточно месяцами, сравните итог с месячной арендой физической машины в разделе выделенных серверов с GPU.
Ближайшая альтернатива — NVIDIA L4: те же 24 ГБ, поколение Ada, потребление около 72 Вт и поддержка FP8. Пропускная способность памяти у A10 вдвое выше (600 ГБ/с против 300), поэтому на генерации текста, где скорость упирается в память, A10 обычно быстрее, а L4 экономичнее. A100 с 40 или 80 ГБ быстрой памяти, NVLink и MIG нужна, когда модель не помещается в 24 ГБ или идёт полноценное обучение; стоит она заметно дороже.