GPU-серверы с NVIDIA L4

NVIDIA L4 — карта поколения Ada Lovelace, которую ставят в серверы ради низкого потребления: 72 Вт, низкопрофильный однослотовый корпус без вентилятора, питание прямо от слота PCIe 4.0 x16. Там, где в машину влезает одна большая карта, помещается несколько L4. Отсюда и её роль: GPU-сервер с L4 берут не для обучения крупных моделей, а для круглосуточного инференса, распознавания речи и обработки видео, где важны цена за час и число параллельных потоков. Карта пришла на смену T4 и в тех же задачах заметно быстрее.

Что помещается в 24 ГБ видеопамяти

Памяти у L4 24 ГБ GDDR6. Для языковых моделей прикидывайте так: FP16 — около 2 ГБ на миллиард параметров, 8 бит — около 1 ГБ, 4 бита — 0,5–0,6 ГБ, и сверху кэш контекста (KV-cache), который растёт с длиной диалога и числом одновременных запросов.

• 7–8 млрд параметров в FP16 — помещаются, но с длинным контекстом и несколькими пользователями сразу запас быстро кончается.
• 13 млрд в 8 битах — с местом под контекст.
• Около 30 млрд в 4 битах — предел одной карты, контекст придётся держать коротким.
• Whisper, эмбеддинги, реранкеры — основная работа L4: модели небольшие, и на одной карте можно держать несколько таких сервисов.
• Генерация изображений — Stable Diffusion и Flux работают со средней скоростью; для большого потока картинок удобнее карта мощнее.

Дообучение возможно в виде LoRA и QLoRA для моделей до 7–8 млрд параметров, но полноценное обучение — не задача этой карты. Поддержка FP8 (compute capability 8.9) полезна для инференса: в FP8 модель занимает вдвое меньше памяти, чем в FP16, и обычно теряет в качестве меньше, чем в 4-битных форматах, если ваш движок FP8 поддерживает.

Где L4 упирается и с чем её сравнить

Главное ограничение — пропускная способность памяти, около 300 ГБ/с. Скорость генерации токенов у языковой модели зависит прежде всего от неё, поэтому чат-бот на L4 отвечает медленнее, чем на карте с тем же объёмом, но более быстрой памятью.

• A10 — тоже 24 ГБ, но около 600 ГБ/с при 150 Вт. Для чата с живыми пользователями обычно быстрее, для видео и небольших моделей переплата оправдана не всегда.
• L40S — 48 ГБ и намного больше вычислений. Нужна, когда модель не помещается в 24 ГБ или к крупной модели идёт много одновременных запросов.

Сильная сторона L4 — видео. Аппаратные NVENC и NVDEC поддерживают AV1, и одна карта перекодирует много потоков одновременно: транскодирование для трансляций, нарезка роликов, анализ видео с камер с распознаванием объектов на той же карте.

Доля карты, одна карта или несколько

Самые дешёвые строки таблицы — не целые карты, а vGPU-доли с 2 и 4 ГБ видеопамяти. MIG у L4 нет, карту делят профилями vGPU. Такая доля подходит для видео, удалённого рабочего стола и лёгких моделей распознавания, но не для языковых моделей: в 2–4 ГБ не поместится даже небольшая LLM с разумным контекстом. Остальные тарифы дают карту целиком — одну, две или четыре.

NVLink у L4 нет, карты общаются только через PCIe. Поэтому сервер с L4 ×2 или ×4 выгоден не для одной большой модели, разрезанной на части, а для нескольких независимых воркеров: на каждой карте свой экземпляр модели, балансировщик раздаёт запросы. Если нужна одна модель на 40–70 млрд параметров, разумнее взять одну карту с большей памятью.

Драйверы, цены и оплата

Для L4 нужен драйвер NVIDIA ветки 525 или новее и CUDA 11.8+, для FP8 — CUDA 12 и свежие сборки PyTorch, vLLM или TensorRT-LLM. В готовом образе проверьте вывод nvidia-smi: модель карты, объём памяти (24 ГБ или размер доли), версию драйвера. На vGPU-долях гостевой драйвер должен соответствовать версии на стороне хоста, поэтому его обычно берут из образа хостера, а не ставят с сайта NVIDIA.

Аренда сервера с L4 в каталоге стоит примерно от 4 800 ₽ в месяц за долю карты до 400 000 ₽ за выделенную машину с четырьмя картами, середина диапазона — около 70 тысяч рублей. Большинство тарифов оплачиваются по часам: это выгодно для тестов, пакетной обработки видео и сервисов, которые нужны только днём. Если карта занята круглые сутки, сравните почасовую цену с месячной — подробнее в разделе о почасовой оплате. Часть тарифов размещена в российских дата-центрах, что важно при обработке персональных данных по 152-ФЗ.