GPU-серверы с NVIDIA L40S

NVIDIA L40S — карта для дата-центра на архитектуре Ada Lovelace: 48 ГБ памяти GDDR6 с ECC, тензорные ядра с поддержкой FP8, RT-ядра для трассировки лучей и аппаратные кодеки с AV1. Она занимает место между экономичными картами для инференса и ускорителями для обучения: памяти вдвое больше, чем у карт на 24 ГБ, а стоит она заметно дешевле H100. В таблице выше собраны облачные тарифы и выделенные серверы с этой картой — от доли vGPU с несколькими гигабайтами памяти до сборок на четыре карты. Если вы выбираете аренду сервера с L40S, сначала проверьте, что именно получаете: целую карту или её часть.

Что помещается в 48 ГБ видеопамяти

Объём памяти — главное, ради чего берут L40S. Ориентир для языковых моделей: в FP16 около 2 ГБ на миллиард параметров, в 8-битном квантовании около 1 ГБ, в 4-битном — 0,5–0,6 ГБ. Сверху нужен запас под KV-кэш: чем длиннее контекст и больше одновременных запросов, тем больше памяти он занимает.

• Модели на 7–13 млрд параметров в FP16 помещаются с запасом: 13B занимает около 26 ГБ, и остаётся место под длинный контекст и пакетную обработку запросов.
• Модели на 30–34 млрд в 8 битах — около 34–36 ГБ весов. Это рабочий вариант для одной карты, если контекст умеренный.
• Модели на 70 млрд входят только в 4-битном квантовании: веса занимают около 40 ГБ, и на контекст остаётся несколько гигабайт. Для одного пользователя и коротких диалогов этого хватит, для сервиса с нагрузкой лучше две карты.
• Дообучение. LoRA для моделей на 7–13 млрд и QLoRA примерно до 30 млрд укладываются в одну карту. Полное обучение даже 7B с оптимизатором Adam требует больше 48 ГБ.

Если модель меньше 8 млрд параметров и памяти нужно до 24 ГБ, сравните цены на серверы с L4: для такой нагрузки они экономичнее. Для обучения крупных моделей с нуля лучше подходят H100 и A100: у них память HBM с гораздо большей пропускной способностью и связь между картами через NVLink.

Изображения, рендер и видео

Здесь L40S сильнее, чем в обучении. Stable Diffusion и Flux на ней генерируют изображения за секунды, а 48 ГБ позволяют работать в высоком разрешении, держать в памяти несколько моделей сразу и обучать свои LoRA без выгрузки весов. RT-ядра ускоряют рендер в Blender Cycles через OptiX и в других GPU-рендерах, а большая память вмещает тяжёлые сцены с текстурами высокого разрешения. Аппаратные NVENC и NVDEC с поддержкой AV1 подходят для транскодирования видео без нагрузки на процессор.

Доля vGPU, целая карта и сборки ×2, ×4

Самые дешёвые строки в таблице — не целые карты. Тарифы с названиями «L40S-4Q», «-8Q», «-12Q», «-16Q» дают долю одной карты через NVIDIA vGPU: виртуальной машине выделяется 4, 8, 12 или 16 ГБ видеопамяти и часть вычислительного времени. Буква Q означает профиль виртуальной рабочей станции.

• Доля на 4–8 ГБ подходит для удалённого рабочего места: CAD, 3D-моделирование, монтаж с аппаратным ускорением. Языковую модель полезного размера в 4 ГБ не запустить.
• Доля на 12–16 ГБ справится с генерацией изображений и небольшими моделями в 4 битах, но вычислительные блоки делятся с соседями, и скорость не гарантирована.
• Целая карта на 48 ГБ нужна для инференса крупных моделей, дообучения и стабильной производительности.
• Сборки ×2 и ×4 дают 96 и 192 ГБ суммарно. NVLink у L40S нет, карты обмениваются данными через PCIe 4.0, поэтому делить одну модель между картами медленнее, чем на ускорителях с NVLink. Зато несколько независимых копий модели — по одной на карту — масштабируются почти линейно.

Технологии MIG у L40S нет: делится карта только через профили vGPU.

Драйвер, CUDA и что проверить в образе

• Compute capability 8.9. Нужен CUDA 11.8 или новее; для FP8 и свежих версий PyTorch берите образ с CUDA 12.
• Драйвер на долях vGPU ставит хостер: в машине работает гостевой драйвер vGPU, и обычный драйвер поверх него ставить нельзя. Уточните его версию заранее.
• Вывод nvidia-smi после запуска покажет модель, объём выделенной памяти и версию CUDA — сверьте их с тарифом.

Почасовая оплата или месяц и диапазон цен

В каталоге цена GPU-сервера с L40S — примерно от 9 тысяч рублей в месяц за долю vGPU до 365 тысяч за самые мощные многокарточные конфигурации; медиана около 77 тысяч. По часам оплачивается меньше половины тарифов. Почасовой вариант выгоден для разовых задач: прогнать дообучение, отрендерить проект, проверить модель перед запуском. Если карта загружена большую часть месяца, обычно дешевле помесячный тариф или выделенный сервер с GPU. Как считать такие тарифы, разобрано на странице о почасовой оплате. Около половины предложений размещены в российских дата-центрах — это удобно, если нужна оплата в рублях и хранение данных в России.