Все товары 
NVIDIA T4: бюджетная карта для инференса и видео — что она тянет и где её предел
NVIDIA T4 вышла в 2018 году на архитектуре Turing и до сих пор остаётся самой доступной серверной картой для нейросетей. У неё 16 ГБ памяти GDDR6, потребление всего 70 Вт, низкопрофильный корпус в один слот и пассивное охлаждение: карту обдувают вентиляторы сервера, поэтому дата-центры ставят её почти в любую машину. Отсюда и цена: аренда сервера с T4 обычно заметно дешевле любого тарифа с картами новых поколений. В таблице выше собраны облачные VPS с T4 и выделенные серверы, от одной карты до сборок на четыре.
Что помещается в 16 ГБ
Считайте так: в FP16 модель занимает около 2 ГБ на миллиард параметров, в 8 битах — около 1 ГБ, в 4 битах — 0,5–0,6 ГБ. Сверху нужен запас под KV-кэш, который растёт с длиной контекста и числом одновременных запросов.
- Языковые модели. Модель на 7–8 млрд параметров работает в 8-битном или 4-битном квантовании, модель на 3–4 млрд — в полной точности FP16. Для чат-бота поддержки, классификации обращений или ответов по базе документов этого хватает. Больше 13 млрд на одной карте уже не поместится с нормальным контекстом.
- Распознавание речи. Whisper и похожие модели — одна из лучших задач для T4: расшифровка звонков и подкастов идёт в разы быстрее реального времени.
- Эмбеддинги, OCR и компьютерное зрение. Векторизация документов для поиска, распознавание текста на сканах, детекция объектов и классификация изображений укладываются в память с большим запасом.
- Генерация изображений. Stable Diffusion запускается, но картинка рисуется заметно дольше, чем на картах класса RTX; для крупных моделей вроде Flux 16 ГБ мало без сильного сжатия.
- Обучение. Небольшие модели и дообучение через LoRA или QLoRA до 7 млрд параметров возможны, но медленно. Для серьёзного обучения T4 не подходит.
Чего T4 не умеет и что проверить в образе
Тензорные ядра T4 работают с FP16, INT8 и INT4, но не поддерживают BF16 и FP8. Многие свежие модели публикуются в BF16, и на T4 их приходится запускать в FP16, что иногда требует настройки. Compute capability карты — 7.5, а часть новых движков инференса и ядер внимания, например FlashAttention 2, требует 8.0 и выше, то есть Ampere или новее. Перед арендой проверьте, поддерживает ли ваш стек Turing.
С драйверами проблем нет: актуальная CUDA 12.x по-прежнему поддерживает Turing, для неё нужен драйвер ветки 525 или новее. В образе посмотрите версию драйвера, CUDA и наличие NVIDIA Container Toolkit, если работаете в Docker.
Отдельный плюс — аппаратные кодеки NVENC и NVDEC. GPU-сервер с T4 перекодирует несколько видеопотоков одновременно в H.264 и HEVC, почти не нагружая процессор. Кодирования в AV1 у Turing нет.
Одна карта, доля карты или несколько
Часть облачных тарифов даёт не целую T4, а её долю через vGPU: виртуальная машина получает часть видеопамяти, например 4 или 8 ГБ, и часть вычислений. Для эмбеддингов или небольшой модели распознавания этого достаточно, но для языковой модели на 7 млрд берите полную карту. Технологии MIG, которая делит карту на изолированные части у A100 и H100, у T4 нет.
Тарифы «×2» и «×4» означают две или четыре отдельные карты по 16 ГБ. NVLink у T4 нет, карты общаются через PCIe 3.0, поэтому делить одну модель между ними медленно. Многокарточный сервер выгоден, когда на каждой карте работает своя копия модели или своя очередь задач: так проще обслуживать много параллельных запросов.
Цены, оплата и чем заменить T4
В каталоге T4 стоит примерно от 17 000 до 320 000 ₽ в месяц; дешёвый край — облачный VPS с одной картой, дорогой — выделенные серверы с четырьмя картами, большим объёмом RAM и многоядерным процессором. Большинство тарифов оплачиваются по часам. Если карта нужна на несколько часов в день для пакетной расшифровки или ночной обработки, почасовая оплата выгоднее; при круглосуточном сервисе считайте месячный тариф или выделенный сервер. Подробнее о расчёте — в разделе о почасовой оплате. Есть и тарифы в российских дата-центрах.
Если упираетесь в возможности T4, посмотрите соседние карты:
- NVIDIA L4 — прямой преемник на архитектуре Ada: 24 ГБ, 72 Вт, поддержка BF16 и FP8, кодирование AV1 и заметно выше скорость. Стоит дороже, но снимает почти все ограничения T4.
- NVIDIA A2 — тоже 16 ГБ и ещё меньше потребление, архитектура Ampere с BF16, но по вычислительной мощности слабее T4. Подходит, когда важна совместимость с новыми движками, а нагрузка небольшая.
Если пока не ясно, какая карта нужна, начните с общего обзора GPU-серверов. T4 в аренду — разумный первый шаг: на ней дёшево проверить, сколько ресурсов реально требует ваша модель, прежде чем платить за старшие карты.