Servidores GPU con NVIDIA L4

La NVIDIA L4 es una tarjeta de la generación Ada Lovelace que se instala en servidores por su bajo consumo: 72 W, formato de perfil bajo y una sola ranura, refrigeración pasiva y alimentación directa desde la ranura PCIe 4.0 x16. Donde en un chasis cabe una tarjeta grande, caben varias L4. De ahí su papel: un servidor GPU con L4 no se alquila para entrenar modelos grandes, sino para inferencia continua, reconocimiento de voz y procesamiento de vídeo, donde importan el precio por hora y el número de flujos en paralelo. Es la sucesora de la T4 y en las mismas tareas resulta bastante más rápida.

Qué cabe en 24 GB de memoria de vídeo

La L4 tiene 24 GB de GDDR6. Para modelos de lenguaje, una regla práctica: FP16 necesita unos 2 GB por cada mil millones de parámetros, 8 bits alrededor de 1 GB y 4 bits de 0,5 a 0,6 GB, más la caché KV, que crece con la longitud del contexto y el número de peticiones simultáneas.

• 7–8B parámetros en FP16 caben, pero con un contexto largo y varios usuarios a la vez el margen se agota rápido.
• 13B en 8 bits caben con espacio para el contexto.
• Unos 30B en 4 bits son el límite de una tarjeta, con un contexto corto.
• Whisper, embeddings y rerankers son el trabajo principal de la L4: los modelos son pequeños y una tarjeta puede alojar varios servicios así.
• Generación de imágenes con Stable Diffusion o Flux funciona a velocidad moderada; para un flujo grande de imágenes es más cómoda una tarjeta más potente.

El ajuste fino es posible con LoRA o QLoRA para modelos de hasta 7–8B, pero el entrenamiento completo no es tarea de esta tarjeta. El soporte de FP8 (compute capability 8.9) ayuda en la inferencia: en FP8 un modelo ocupa la mitad de memoria que en FP16 y suele perder menos calidad que en formatos de 4 bits, siempre que su motor de inferencia admita FP8.

Dónde se queda corta la L4 y con qué compararla

El límite principal es el ancho de banda de memoria, unos 300 GB/s. La velocidad de generación de tokens de un modelo de lenguaje depende sobre todo de él, así que un chatbot en una L4 responde más despacio que en una tarjeta con la misma capacidad pero memoria más rápida.

• A10: también 24 GB, pero unos 600 GB/s con 150 W. Suele ser más rápida para un chat con usuarios reales; para vídeo y modelos pequeños el sobrecoste no siempre compensa.
• L40S: 48 GB y mucha más potencia de cálculo. Hace falta cuando el modelo no cabe en 24 GB o un modelo grande recibe muchas peticiones simultáneas.

El punto fuerte de la L4 es el vídeo. Sus unidades NVENC y NVDEC admiten AV1, y una sola tarjeta transcodifica muchos flujos a la vez: transcodificación de emisiones en directo, corte de clips, análisis de imágenes de cámaras con detección de objetos en la misma tarjeta.

Una fracción, una tarjeta o varias

Las filas más baratas de la tabla no son tarjetas completas, sino fracciones vGPU con 2 o 4 GB de memoria de vídeo. La L4 no tiene MIG; se reparte mediante perfiles vGPU. Una fracción sirve para vídeo, escritorio remoto y modelos ligeros de reconocimiento, pero no para modelos de lenguaje: en 2–4 GB no cabe ni un LLM pequeño con un contexto útil. Los demás planes ofrecen tarjetas completas: una, dos o cuatro.

La L4 tampoco tiene NVLink; las tarjetas se comunican solo por PCIe. Por eso un servidor con L4 ×2 o ×4 compensa no para un único modelo grande dividido en partes, sino para varios workers independientes: cada tarjeta ejecuta su propia copia del modelo y un balanceador reparte las peticiones. Si necesita un único modelo de 40–70B, es mejor una tarjeta con más memoria.

Controladores, precios y facturación

La L4 necesita un controlador NVIDIA de la rama 525 o posterior y CUDA 11.8+; para FP8, CUDA 12 y versiones recientes de PyTorch, vLLM o TensorRT-LLM. En una imagen preparada compruebe la salida de nvidia-smi: modelo de tarjeta, memoria (24 GB o el tamaño de la fracción) y versión del controlador. En las fracciones vGPU el controlador invitado debe coincidir con la versión del host, por lo que suele venir en la imagen del proveedor y no de la web de NVIDIA.

El alquiler de un servidor con L4 en el catálogo cuesta aproximadamente desde 60 $ al mes por una fracción hasta unos 5.000 $ por una máquina dedicada con cuatro tarjetas; el centro del rango ronda los 870 $. La mayoría de planes se facturan por horas, lo que compensa para pruebas, procesamiento de vídeo por lotes y servicios que solo funcionan en horario laboral. Si la tarjeta está ocupada todo el día, compare el precio por hora con el mensual; más detalles en la página sobre facturación por horas. Para datos personales de residentes en la UE elija un centro de datos en la UE y simplificará el cumplimiento del RGPD; para inferencia en directo, una ubicación cercana a sus usuarios para mantener baja la latencia. La mayoría de proveedores aceptan tarjetas bancarias internacionales.