IA en un VPS sin tarjeta gráfica: qué se puede ejecutar de verdad
Una tarjeta gráfica en la nube sale cara, pero muchas tareas no la necesitan. Los modelos de lenguaje de 3–8 mil millones de parámetros, en versión comprimida, funcionan en un procesador normal: responden más despacio que ChatGPT, pero los datos no salen de tu servidor y pagas una cantidad fija sin límites de peticiones. Es una buena opción para bots internos, procesamiento de documentos, clasificación y experimentos.
La memoria decide qué modelo cabe
El modelo se carga entero en la memoria RAM. Con cuantización a 4 bits (Q4), mil millones de parámetros ocupan unos 0,6–0,7 GB, más un margen para el contexto y el sistema:
- 8 GB de RAM: modelos de hasta 3–4 mil millones de parámetros, como Llama 3.2 3B, Phi o Qwen 2.5 3B;
- 16 GB de RAM: modelos de 7–8 mil millones, como Llama 3.1 8B, Qwen 2.5 7B o Mistral 7B, la categoría más popular;
- 32 GB o más: modelos de 13–14 mil millones o varios modelos a la vez.
Por eso la selección empieza en 16 GB de memoria y 8 núcleos: es el mínimo para trabajar con comodidad con modelos de 7–8 mil millones de parámetros.
La velocidad depende de los núcleos y de la memoria
La generación de texto en el procesador está limitada por la velocidad de la memoria y el número de núcleos. Con 8 núcleos modernos, un modelo 7B produce del orden de 5–10 tokens por segundo, suficiente para un chatbot con uno o dos usuarios a la vez. Fíjate en la frecuencia y la generación del procesador: los planes de alta frecuencia con AMD EPYC y Ryzen recientes son bastante más rápidos que los Xeon antiguos. Si el procesador admite las instrucciones AVX2 y AVX-512, llama.cpp las usa automáticamente.
Qué instalar
- Ollama: la forma más sencilla; se instala con un solo comando, los modelos se descargan por su nombre y tiene una API HTTP compatible con OpenAI.
- llama.cpp: el motor sobre el que funcionan la mayoría de las soluciones; da el máximo control sobre los parámetros y la velocidad.
- Open WebUI: una interfaz web al estilo de ChatGPT sobre Ollama, práctica para un equipo.
- Whisper.cpp: reconocimiento de voz en el procesador; funciona incluso con 4 GB.
Si los modelos solo forman parte de una automatización, es cómodo conectarlos con n8n o con un bot. Y si te bastan los modelos en la nube, sirve un servidor normal que llame a su API: consulta VPS para Python.
Disco y limitaciones
Cada modelo pesa entre 2 y 10 GB, así que elige NVMe desde 50 GB para tener varios modelos y cargarlos rápido. Ten en cuenta los límites: generar imágenes (Stable Diffusion) en el procesador lleva minutos por imagen, y entrenar modelos sin tarjeta gráfica es prácticamente imposible; para eso hace falta un servidor con GPU. No abras la API de Ollama a internet sin autenticación: cierra el puerto 11434 con el firewall y da acceso a través de un proxy inverso con contraseña.