Servidores GPU con NVIDIA L40S

La NVIDIA L40S es una tarjeta para centro de datos con arquitectura Ada Lovelace: 48 GB de memoria GDDR6 con ECC, núcleos tensoriales con soporte FP8, núcleos RT para trazado de rayos y códecs por hardware con AV1. Se sitúa entre las tarjetas de inferencia de bajo consumo y los aceleradores de entrenamiento: el doble de memoria que las tarjetas de 24 GB y un precio claramente inferior al de una H100. La tabla de arriba reúne planes en la nube y servidores dedicados con esta tarjeta, desde una fracción vGPU con unos pocos gigabytes de memoria hasta configuraciones de cuatro tarjetas. Antes de contratar el alquiler de un servidor con L40S, compruebe qué recibe exactamente: la tarjeta completa o una parte.

Qué cabe en 48 GB de memoria de vídeo

La memoria es el motivo principal para elegir la L40S. Regla práctica para modelos de lenguaje: unos 2 GB por cada mil millones de parámetros en FP16, alrededor de 1 GB con cuantización de 8 bits y 0,5–0,6 GB con 4 bits. Hay que sumar margen para la caché KV: cuanto más largo el contexto y más peticiones simultáneas, más memoria ocupa.

• Modelos de 7–13B parámetros en FP16 caben con holgura: un modelo de 13B ocupa unos 26 GB y deja espacio para contexto largo y procesamiento por lotes.
• Modelos de 30–34B en 8 bits necesitan unos 34–36 GB para los pesos. Es una opción viable en una sola tarjeta con contexto moderado.
• Modelos de 70B caben solo con cuantización de 4 bits: los pesos ocupan unos 40 GB y quedan pocos gigabytes para el contexto. Basta para un usuario y diálogos cortos; para un servicio con carga, mejor dos tarjetas.
• Ajuste fino. LoRA en modelos de 7–13B y QLoRA hasta unos 30B caben en una tarjeta. El entrenamiento completo incluso de un modelo de 7B con el optimizador Adam requiere más de 48 GB.

Si su modelo tiene menos de 8B parámetros y necesita hasta 24 GB, compare precios de servidores con L4: para esa carga resultan más económicos. Para entrenar modelos grandes desde cero son más adecuadas la H100 y la A100: su memoria HBM tiene un ancho de banda mucho mayor y las tarjetas se conectan mediante NVLink.

Imágenes, renderizado y vídeo

Aquí la L40S rinde mejor que en entrenamiento. Stable Diffusion y Flux generan imágenes en segundos, y 48 GB permiten trabajar en alta resolución, mantener varios modelos en memoria a la vez y entrenar sus propios LoRA sin descargar pesos. Los núcleos RT aceleran el renderizado en Blender Cycles mediante OptiX y en otros motores GPU, y la memoria amplia admite escenas pesadas con texturas de alta resolución. NVENC y NVDEC por hardware con soporte AV1 se encargan de la transcodificación de vídeo sin cargar la CPU.

Fracción vGPU, tarjeta completa y configuraciones ×2, ×4

Las filas más baratas de la tabla no son tarjetas completas. Los planes llamados «L40S-4Q», «-8Q», «-12Q», «-16Q» ofrecen una parte de una tarjeta mediante NVIDIA vGPU: la máquina virtual recibe 4, 8, 12 o 16 GB de memoria de vídeo y una parte del tiempo de cómputo. La letra Q indica el perfil de estación de trabajo virtual.

• Una fracción de 4–8 GB sirve para una estación de trabajo remota: CAD, modelado 3D, edición con aceleración por hardware. En 4 GB no se ejecuta un modelo de lenguaje de tamaño útil.
• Una fracción de 12–16 GB maneja generación de imágenes y modelos pequeños en 4 bits, pero las unidades de cómputo se comparten con otros clientes y la velocidad no está garantizada.
• La tarjeta completa de 48 GB es necesaria para inferencia de modelos grandes, ajuste fino y rendimiento estable.
• Las configuraciones ×2 y ×4 suman 96 y 192 GB. La L40S no tiene NVLink: las tarjetas se comunican por PCIe 4.0, así que repartir un modelo entre varias es más lento que en aceleradores con NVLink. En cambio, varias copias independientes del modelo, una por tarjeta, escalan casi linealmente.

La L40S no admite MIG: la tarjeta solo se reparte mediante perfiles vGPU.

Controlador, CUDA y qué revisar en la imagen

• Compute capability 8.9. Se necesita CUDA 11.8 o posterior; para FP8 y versiones actuales de PyTorch elija una imagen con CUDA 12.
• En las fracciones vGPU el controlador lo instala el proveedor: la máquina usa un controlador invitado vGPU y no conviene instalar encima un controlador normal. Pregunte su versión de antemano.
• La salida de nvidia-smi tras el primer arranque muestra el modelo, la memoria asignada y la versión de CUDA; compárelos con el plan.

Pago por horas o mensual y rango de precios

En el catálogo un servidor GPU con L40S cuesta aproximadamente desde 115 $ al mes por una fracción vGPU hasta unos 4.500 $ por las configuraciones multitarjeta más potentes; la mediana ronda los 960 $. Menos de la mitad de los planes se facturan por horas. El pago por horas compensa en tareas puntuales: una ejecución de ajuste fino, el renderizado de un proyecto, la prueba de un modelo antes del lanzamiento. Si la tarjeta está ocupada la mayor parte del mes, suele salir más barato un plan mensual o un servidor dedicado con GPU. Cómo comparar estos planes se explica en la página de facturación por horas. Revise también la ubicación: un centro de datos cercano reduce la latencia en uso interactivo y acelera la descarga de conjuntos de datos, y si procesa datos personales de residentes de la UE, un centro de datos en la UE simplifica el cumplimiento del RGPD. Los métodos de pago de cada plan figuran en la tabla; la mayoría de proveedores internacionales aceptan tarjetas bancarias habituales.