Все товары 
Нейросети на VPS без видеокарты: что реально запустить
Видеокарта в облаке стоит дорого, но для многих задач она не нужна. Языковые модели на 3–8 миллиардов параметров в сжатом виде работают на обычном процессоре: отвечают медленнее, чем ChatGPT, зато данные не покидают ваш сервер, а платите вы фиксированную сумму без лимитов на запросы. Это хороший вариант для внутренних ботов, обработки документов, классификации и экспериментов.
Память определяет, какая модель поместится
Модель целиком загружается в оперативную память. В формате с квантованием 4 бита (Q4) один миллиард параметров занимает примерно 0,6–0,7 ГБ, плюс запас на контекст и систему:
- 8 ГБ RAM — модели до 3–4 млрд параметров: Llama 3.2 3B, Phi, Qwen 2.5 3B;
- 16 ГБ RAM — модели 7–8 млрд: Llama 3.1 8B, Qwen 2.5 7B, Mistral 7B — самый популярный класс;
- 32 ГБ и больше — модели 13–14 млрд или несколько моделей одновременно.
Поэтому подборка начинается с 16 ГБ памяти и 8 ядер — это минимум для комфортной работы с моделями 7–8 млрд параметров.
Скорость зависит от ядер и памяти
Генерация текста на процессоре ограничена скоростью памяти и числом ядер. На 8 современных ядрах модель 7B выдаёт порядка 5–10 токенов в секунду — достаточно для чат-бота с одним-двумя пользователями одновременно. Смотрите на частоту и поколение процессора: высокочастотные тарифы на свежих AMD EPYC и Ryzen заметно быстрее старых Xeon. Если поддерживаются инструкции AVX2 и AVX-512, llama.cpp использует их автоматически.
Что поставить
- Ollama — самый простой способ: одна команда для установки, модели скачиваются по имени, есть HTTP API, совместимый с OpenAI.
- llama.cpp — движок, на котором работает большинство решений; даёт максимум контроля над параметрами и скоростью.
- Open WebUI — веб-интерфейс в стиле ChatGPT поверх Ollama, удобно для команды.
- Whisper.cpp — распознавание речи на процессоре, работает даже на 4 ГБ.
Если модели нужны только как часть автоматизации, их удобно связать с n8n или ботом. А если достаточно облачных моделей, хватит обычного сервера, который обращается к их API.
Диск и ограничения
Модели весят от 2 до 10 ГБ каждая, поэтому берите NVMe от 50 ГБ, чтобы держать несколько моделей и быстро их загружать. Помните о пределах: генерация изображений (Stable Diffusion) на процессоре идёт минутами на картинку, а обучение моделей без видеокарты практически невозможно — для этого нужен GPU-сервер. Не открывайте API Ollama в интернет без авторизации: закройте порт 11434 файрволом и ставьте доступ через обратный прокси с паролем.