Tu propio modelo de lenguaje en un servidor: cuánta memoria y GPU hacen falta
Un modelo de 8 mil millones de parámetros comprimido a 4 bits ocupa unos 4 GB y cabe en cualquier tarjeta de servidor; despacio, funciona incluso en el procesador. Un modelo de 70 mil millones con la misma compresión necesita 35 GB para los pesos y además memoria para el contexto, es decir, una tarjeta de 48 GB. A continuación: cómo calcular la memoria para tu modelo, qué tarjeta para cada tamaño y cuánto cuesta.
La fórmula de la memoria
La memoria de vídeo que necesita un modelo de lenguaje tiene tres partes.
memoria = pesos + caché de contexto + memoria auxiliar
Los pesos son el número de parámetros por el tamaño de un parámetro. En formato de 16 bits (FP16 o BF16) un parámetro ocupa 2 bytes; en 8 bits, 1 byte; en 4 bits, medio byte. NVIDIA da un ejemplo: un modelo de 7 mil millones de parámetros en 16 bits ocupa unos 14 GB. Para los modelos Llama 3.1, Hugging Face publica una tabla lista:
| Modelo | 16 bits | 8 bits | 4 bits |
|---|---|---|---|
| 8 mil millones de parámetros | 16 GB | 8 GB | 4 GB |
| 70 mil millones | 140 GB | 70 GB | 35 GB |
| 405 mil millones | 810 GB | 405 GB | 203 GB |
Comprimir a 8 y 4 bits (cuantización) baja un poco la calidad de las respuestas, pero reduce la memoria varias veces. Compruébalo con tus propias tareas: pasa las mismas preguntas por la versión comprimida y por la completa.
La caché de contexto
Mientras el modelo lee la petición y escribe la respuesta, guarda datos intermedios de cada palabra (más exactamente, de cada token): la caché de claves y valores. Crece con la longitud del contexto y con el número de peticiones que el servidor atiende a la vez. Según el cálculo de NVIDIA, un modelo de 7 mil millones necesita unos 2 GB de caché para 4096 tokens. En Llama 3.1, con 128 mil tokens la caché ocupa 15,6 GB en el modelo de 8 mil millones y 39 GB en el de 70 mil millones, más que los propios pesos en 4 bits.
La conclusión práctica: un contexto largo y muchos usuarios simultáneos necesitan tanta memoria como el propio modelo, o más. Ollama, si no se indica otra cosa, usa un contexto de 4096 tokens, y la caché se puede comprimir a 8 bits con OLLAMA_KV_CACHE_TYPE=q8_0, lo que reduce su memoria a la mitad. El servidor vLLM reserva de antemano casi toda la memoria de vídeo para pesos y caché; la proporción la fija el parámetro --gpu-memory-utilization.
La memoria auxiliar son las bibliotecas CUDA y los búferes de trabajo. Hugging Face aclara que su tabla no la incluye. No elijas una tarjeta justa: deja libres unos cuantos gigabytes.
Qué tarjeta para cada modelo
Los precios son la mediana mensual del mercado en el catálogo de accsly del 13 de noviembre de 2026, planes con una tarjeta entera salvo que se indique otra cosa. El catálogo guarda rublos, así que los importes en dólares están convertidos y redondeados.
- 8 mil millones de parámetros en 4 u 8 bits (4–8 GB de pesos). Sirve cualquier tarjeta de 16–24 GB, y queda sitio para un contexto largo. RTX 3090, 421 USD; L4, 532 USD; RTX 4090, 559 USD al mes.
- 8 mil millones en 16 bits (16 GB de pesos). Hace falta una tarjeta de 24 GB; en una T4 de 16 GB ya no cabe.
- 70 mil millones en 4 bits (35 GB). Una tarjeta de 48 GB: L40S, 929 USD. El contexto habrá que limitarlo a unas decenas de miles de tokens.
- 70 mil millones en 8 bits (70 GB). Una tarjeta de 80–96 GB: A100 de 80 GB, unos 1180 USD (6 planes); RTX PRO 6000, 1499 USD; H100, 2400 USD. La RTX PRO 6000 de 96 GB deja más espacio para la caché.
- 70 mil millones en 16 bits (140 GB). Dos tarjetas de 80 GB o más. El catálogo tiene 29 planes de 13 proveedores con 160 GB de memoria de vídeo o más; una cuarta parte cuesta menos de 2725 USD al mes.
- 405 mil millones en 4 bits (203 GB). Cuatro tarjetas de 80 GB o más. En el catálogo hay seis planes así, en seis proveedores, desde 3870 USD al mes.
Si el modelo se reparte entre varias tarjetas, el software del servidor tiene que permitirlo: en vLLM el número de tarjetas se fija con --tensor-parallel-size. Las tarjetas unidas por NVLink (A100, H100) intercambian datos más rápido que por PCIe. Más sobre las tarjetas en el artículo qué GPU para cada tarea.
A qué velocidad responderá
Al generar una respuesta, cada palabra nueva exige leer de la memoria todos los pesos del modelo, así que la velocidad depende del ancho de banda de la memoria, no del cálculo. De ahí una estimación sencilla del techo para una sola petición: ancho de banda dividido entre el tamaño de los pesos. La velocidad real es menor, pero el orden de magnitud es correcto.
- 8 mil millones en 4 bits (unos 4 GB) en una L4 con sus 300 GB/s: no más de 75 tokens por segundo; en una RTX 4090 con 1008 GB/s, hasta 250.
- 70 mil millones en 4 bits (35 GB) en una L40S con 864 GB/s: hasta 25 tokens por segundo; en una H100 con 3350 GB/s, hasta 95.
Para el chat de un solo usuario basta incluso una L4. Si el modelo lo usa un equipo o procesa documentos por lotes, la memoria rápida compensa.
Cuándo basta la CPU
Ollama y llama.cpp ejecutan un modelo sin tarjeta gráfica, en la memoria normal del servidor. Un modelo de 7–8 mil millones de parámetros en 4 bits ocupa unos 4–5 GB y funciona en un VPS con 16 GB de RAM: despacio, pero suficiente para un bot, clasificar correo o procesar por la noche. Un VPS con 16 GB de RAM tiene una mediana de 76 USD al mes, cinco veces menos que la tarjeta más asequible. Si hay GPU pero su memoria no alcanza, Ollama reparte el modelo entre la tarjeta y el procesador; puedes comprobarlo con ollama ps, cuya columna Processor muestra qué porcentaje del modelo está en la GPU. Selección: VPS para redes neuronales en CPU.
Cuánta memoria requiere el ajuste fino
Entrenar necesita muchas veces más memoria que ejecutar. El entrenamiento completo en precisión mixta con el optimizador Adam ocupa por parámetro 6 bytes de pesos, 8 bytes de estado del optimizador y 4 bytes de gradientes, más los datos intermedios. Por eso normalmente no se ajusta todo el modelo, sino pequeñas capas añadidas: los métodos LoRA y QLoRA. La estimación de Hugging Face para Llama 3.1:
- 8 mil millones de parámetros: ajuste completo, 60 GB; LoRA, 16 GB; QLoRA, 6 GB;
- 70 mil millones: completo, 500 GB; LoRA, 160 GB; QLoRA, 48 GB.
Coincide con el trabajo de los autores de QLoRA: un modelo de 65 mil millones de parámetros se ajusta en una sola tarjeta de 48 GB. O sea, una L40S basta para ajustar un modelo de 70 mil millones, y para uno de 8 mil millones alcanza una RTX 4090. Entrenar lleva horas o días y conviene hacerlo con alquiler por horas; cómo calcular el coste se explica en el artículo alquiler de GPU por horas.
RAM y disco
Los pesos del modelo están primero en el disco y al arrancar se leen a través de la RAM. Un modelo de 70 mil millones en 16 bits son 140 GB de archivos, y a menudo hacen falta varias versiones para comparar. Elige NVMe con margen. Los planes con una tarjeta suelen tener mucha RAM: la mediana es de 64 GB con L4 o T4, 128 GB con RTX 4090 y 240 GB con H100. Si la carga es constante y el modelo grande, mira los servidores dedicados con GPU: la máquina entera es tuya y no compartes el disco con nadie.