Своя языковая модель на сервере: сколько памяти и GPU нужно
Модель на 8 млрд параметров в 4-битном сжатии занимает около 4 ГБ и помещается в любую серверную карту, а на небольшой скорости работает даже на процессоре. Модели на 70 млрд параметров в том же сжатии нужно 35 ГБ под веса и ещё память под контекст, то есть карта на 48 ГБ. Ниже — как посчитать память под свою модель, какая карта под какой размер и во что это обходится.
Формула памяти
Видеопамять под языковую модель складывается из трёх частей.
память = веса + кэш контекста + служебная память
Веса — это число параметров, умноженное на размер одного параметра. В 16-битном формате (FP16 или BF16) параметр занимает 2 байта, в 8-битном — 1 байт, в 4-битном — полбайта. NVIDIA приводит пример: модель на 7 млрд параметров в 16 битах занимает около 14 ГБ. Для моделей Llama 3.1 Hugging Face публикует готовую таблицу:
| Модель | 16 бит | 8 бит | 4 бита |
|---|---|---|---|
| 8 млрд параметров | 16 ГБ | 8 ГБ | 4 ГБ |
| 70 млрд | 140 ГБ | 70 ГБ | 35 ГБ |
| 405 млрд | 810 ГБ | 405 ГБ | 203 ГБ |
Сжатие до 8 и 4 бит (квантование) немного снижает качество ответов, зато в разы уменьшает память. Для своих задач проверьте сами: прогоните одни и те же вопросы через сжатую и полную версию.
Кэш контекста
Пока модель читает запрос и пишет ответ, она хранит промежуточные данные по каждому слову (точнее, по каждому токену) — это кэш ключей и значений. Он растёт с длиной контекста и с числом запросов, которые сервер обрабатывает одновременно. По расчёту NVIDIA, модели на 7 млрд параметров на 4 096 токенов нужно около 2 ГБ кэша. У Llama 3.1 на 128 тысяч токенов кэш занимает 15,6 ГБ для модели на 8 млрд параметров и 39 ГБ для модели на 70 млрд — больше, чем сами веса в 4-битном формате.
Отсюда практический вывод: длинный контекст и много одновременных пользователей требуют памяти не меньше, чем сама модель. Ollama, если не задать иначе, берёт контекст 4 096 токенов, а кэш можно сжать до 8 бит настройкой OLLAMA_KV_CACHE_TYPE=q8_0, это вдвое меньше памяти. Сервер vLLM заранее занимает почти всю видеопамять под веса и кэш, долю задаёт параметр --gpu-memory-utilization.
Служебная память — библиотеки CUDA и рабочие буферы. Hugging Face отдельно оговаривает, что в их таблице её нет. Не берите карту впритык: оставьте несколько гигабайт свободными.
Какая карта под какую модель
Цены — середина рынка за месяц по каталогу accsly на 13 ноября 2026 года, тарифы с одной целой картой, если не сказано иначе.
- 8 млрд параметров в 4 или 8 битах (4–8 ГБ весов). Подойдёт любая карта на 16–24 ГБ, место останется и под длинный контекст. RTX 3090 — 35 000 ₽, L4 — 44 200 ₽, RTX 4090 — 46 400 ₽ в месяц.
- 8 млрд в 16 битах (16 ГБ весов). Нужна карта на 24 ГБ, в 16-гигабайтную T4 она уже не поместится.
- 70 млрд в 4 битах (35 ГБ). Карта на 48 ГБ: L40S — 77 100 ₽. Контекст придётся ограничить несколькими десятками тысяч токенов.
- 70 млрд в 8 битах (70 ГБ). Карта на 80–96 ГБ: A100 на 80 ГБ — около 98 000 ₽ (6 тарифов), RTX PRO 6000 — 124 400 ₽, H100 — 199 100 ₽. На 96 ГБ RTX PRO 6000 останется больше места под кэш.
- 70 млрд в 16 битах (140 ГБ). Две карты по 80 ГБ и больше. В каталоге 29 тарифов от 13 хостеров со 160 ГБ видеопамяти и больше, четверть из них дешевле 226 000 ₽ в месяц.
- 405 млрд в 4 битах (203 ГБ). Четыре карты по 80 ГБ и больше. Таких тарифов в каталоге шесть, у шести хостеров, от 321 000 ₽ в месяц.
Если модель делится между несколькими картами, сервер должен это уметь: в vLLM число карт задаёт параметр --tensor-parallel-size. Карты со связью NVLink (A100, H100) обмениваются данными быстрее, чем через PCIe. Подробнее о картах — в статье какая видеокарта для какой задачи.
Насколько быстро будет отвечать
При генерации ответа каждое новое слово требует прочитать из памяти все веса модели, поэтому скорость упирается в пропускную способность памяти, а не в вычисления. Отсюда простая оценка потолка для одного запроса: пропускная способность, делённая на размер весов. Реальная скорость ниже, но порядок цифр верный.
- 8 млрд в 4 битах (около 4 ГБ) на L4 с её 300 ГБ/с — не больше 75 токенов в секунду, на RTX 4090 с 1 008 ГБ/с — до 250.
- 70 млрд в 4 битах (35 ГБ) на L40S с 864 ГБ/с — до 25 токенов в секунду, на H100 с 3 350 ГБ/с — до 95.
Для чата одного пользователя хватает даже L4. Если же моделью пользуется команда или модель обрабатывает документы пачками, быстрая память окупается.
Когда хватит процессора
Ollama и llama.cpp запускают модель без видеокарты, в обычной памяти сервера. Модель на 7–8 млрд параметров в 4 битах занимает около 4–5 ГБ и работает на VPS с 16 ГБ памяти — медленно, но для бота, разбора писем или ночной обработки этого достаточно. VPS с 16 ГБ памяти стоит в середине рынка 6 300 ₽ в месяц, в пять раз дешевле самой доступной карты. Если видеокарта есть, но памяти на ней не хватает, Ollama разделит модель между картой и процессором; проверить это можно командой ollama ps, в колонке Processor будет видно, сколько процентов модели на GPU. Подборка: VPS для нейросетей на процессоре.
Сколько памяти нужно для дообучения
Обучение требует в разы больше памяти, чем запуск. При полном обучении в смешанной точности с оптимизатором Adam на каждый параметр уходит 6 байт весов, 8 байт состояния оптимизатора и 4 байта градиентов, плюс промежуточные данные. Поэтому обычно дообучают не всю модель, а небольшие добавочные слои — методы LoRA и QLoRA. По оценке Hugging Face для Llama 3.1:
- 8 млрд параметров: полное дообучение — 60 ГБ, LoRA — 16 ГБ, QLoRA — 6 ГБ;
- 70 млрд: полное — 500 ГБ, LoRA — 160 ГБ, QLoRA — 48 ГБ.
Это сходится с работой авторов QLoRA: модель на 65 млрд параметров дообучается на одной карте с 48 ГБ. То есть одна L40S справляется с дообучением 70-миллиардной модели, а модели на 8 млрд хватает RTX 4090. Обучение — задача на часы и дни, её выгодно делать на почасовой аренде: как посчитать, разобрано в статье аренда GPU с почасовой оплатой.
Оперативная память и диск
Веса модели сначала лежат на диске и при запуске читаются через оперативную память. 70-миллиардная модель в 16 битах — это 140 ГБ файлов, а версий модели для сравнения часто нужно несколько. Берите NVMe с запасом. Оперативной памяти в тарифах с одной картой обычно много: середина рынка — 64 ГБ у тарифов с L4 и T4, 128 ГБ с RTX 4090, 240 ГБ с H100. Если нагрузка постоянная, а модель большая, посмотрите выделенные серверы с GPU: вся машина ваша, и диск ни с кем не делится.