Todos los productos 
Alquiler de servidor con H100: SXM o PCIe, qué cabe en 80 GB y cómo no pagar de más
NVIDIA H100 es el acelerador de la generación Hopper para entrenar y servir modelos grandes. Se alquila un servidor con H100 cuando una A100 ya no es lo bastante rápida y el modelo o el dataset necesitan 80 GB de memoria rápida por tarjeta. La tabla de arriba reúne planes en la nube y servidores dedicados con una, dos o cuatro tarjetas; los precios mensuales del catálogo van aproximadamente de 1350 a 5400 $, con un punto medio de unos 3000 $. La mayoría de los planes se pueden pagar por horas.
SXM, PCIe y NVL: tres H100 distintas bajo un mismo nombre
Con el nombre H100 se venden tarjetas bastante diferentes, y los planes suelen poner solo «H100 80GB».
- H100 SXM5, 80 GB HBM3. Unos 3,35 TB/s de ancho de banda de memoria y hasta 700 W. Va montada en placas HGX, donde las tarjetas se conectan por NVLink a hasta 900 GB/s. Es la opción más rápida para entrenar con varias GPU.
- H100 PCIe, 80 GB HBM2e. Unos 2 TB/s y 350 W, una tarjeta normal en ranura PCIe. Dos tarjetas se pueden unir con un puente NVLink, pero es opcional, no la norma. Más lenta que la SXM, pero más barata y más habitual en la nube.
- H100 NVL, 94 GB HBM3. Una tarjeta PCIe con más memoria, pensada para trabajar en parejas mediante puentes NVLink. Los 14 GB extra por tarjeta ayudan con contextos largos en inferencia.
Cómo saber cuál lleva un plan: busque SXM, PCIe o NVL en el nombre; una potencia de 700 W indica SXM, y 350–400 W, la versión PCIe. En configuraciones con varias tarjetas pregunte si hay NVLink y entre qué tarjetas: cuatro tarjetas PCIe sin puentes intercambian datos solo por el bus, lo que frena bastante el entrenamiento con el modelo repartido. Con el servidor en marcha, compruebe la tarjeta con nvidia-smi (nombre y límite de potencia) y las conexiones entre tarjetas con nvidia-smi topo -m.
Qué cabe en 80 GB
Regla práctica: en FP16 un modelo ocupa unos 2 GB por cada mil millones de parámetros, en 8 bits alrededor de 1 GB y en 4 bits 0,5–0,6 GB, más un margen para la caché KV, que crece con la longitud del contexto y el número de peticiones simultáneas.
- Los modelos de 70B en FP8 caben en una sola tarjeta de 80 GB con un contexto moderado. Para contextos largos y muchos usuarios es más cómodo una H100 NVL o dos tarjetas.
- Los mismos 70B en FP16 ocupan unos 140 GB y necesitan dos tarjetas con el modelo repartido (tensor parallel).
- En 4 bits una tarjeta deja mucho espacio para contexto y peticiones en paralelo con modelos de hasta 70B.
- El fine-tuning completo de modelos de 7–13B cabe en una o dos tarjetas; los gradientes y el estado del optimizador ocupan varias veces más memoria que los pesos.
- LoRA y QLoRA para 70B se hacen en varias tarjetas; QLoRA con un batch pequeño, a veces en una sola.
La gran novedad frente a la generación anterior es el Transformer Engine con FP8: con frameworks que lo soportan, la inferencia y el entrenamiento de transformers son bastante más rápidos que en FP16 y el modelo ocupa la mitad de memoria. Para generar imágenes o renderizar, la H100 es excesiva: esas tareas salen más baratas en una L40S o en tarjetas de la clase RTX.
MIG, controladores y CUDA
La H100 admite MIG: la tarjeta se puede dividir en hasta siete instancias aisladas, cada una con su parte de memoria y de unidades de cálculo. Así venden las nubes GPU fraccionadas. Para servir un modelo pequeño es económico, pero el entrenamiento y los modelos grandes necesitan la tarjeta completa: compruebe la VRAM del plan, no solo el nombre.
La compute capability de la H100 es 9.0. Necesita CUDA 11.8 o posterior (se recomienda 12.x) y un controlador NVIDIA para centros de datos acorde. En la imagen, compruebe el controlador, la versión de CUDA y la compilación de PyTorch: las imágenes antiguas preparadas para A100 o V100 arrancan, pero sin FP8 y con pérdida de velocidad.
Por horas o por meses
La tarjeta es cara, así que el modelo de pago pesa más en el total que con GPU más modestas. Los planes por horas sirven para experimentos, búsqueda de hiperparámetros y ejecuciones puntuales: arrancar el servidor, entrenar, guardar el checkpoint en un almacenamiento externo y eliminar el servidor. Más detalles en la sección sobre facturación por horas. Si necesita la H100 para un servicio que responde a usuarios las 24 horas o para un entrenamiento de semanas, un plan mensual o un servidor dedicado con GPU suele salir más barato.
Entrenar en varios servidores a la vez exige InfiniBand u otra red rápida entre nodos. El catálogo no siempre lo indica, así que pregunte antes de pagar. Fíjese también en la ubicación del centro de datos: con datos personales de usuarios de la UE cuenta el RGPD, y en servicios interactivos, la latencia hacia sus usuarios en Europa o América.
Si no necesita FP8 y el presupuesto es ajustado, compare con la A100: es más barata y también tiene 80 GB, pero es más lenta y no tiene FP8. La H200, más reciente, ofrece 141 GB y tiene sentido cuando el modelo no cabe en 80–94 GB.