NVIDIA A16 en alquiler: cuatro GPU en una tarjeta y qué parte llega a tu máquina
La NVIDIA A16 está construida de otra manera que la mayoría de las tarjetas para servidor. Una sola tarjeta PCIe lleva cuatro GPU independientes de generación Ampere, cada una con sus propios 16 GB de GDDR6, en total 64 GB por tarjeta con un consumo de unos 250 W. Se diseñó para escritorios virtuales y vídeo: una tarjeta se reparte entre muchos usuarios y sus códecs por hardware alcanzan para decenas de flujos de vídeo. En cambio, la potencia de cálculo de cada una de las cuatro GPU es modesta, bastante inferior a la de una A10 o una L4. Por eso alquilar un servidor con A16 tiene sentido cuando importa el número de usuarios y flujos, no la velocidad de un único modelo grande.
Qué significa «A16» en un plan
La trampa principal: «A16» en el nombre de un plan casi nunca significa la tarjeta completa con 64 GB. Lo habitual es que la máquina virtual reciba una de las cuatro GPU con sus 16 GB o una fracción vGPU de una GPU con parte de su memoria. Por eso la memoria de vídeo en el catálogo empieza en 2 GB: son perfiles vGPU pequeños pensados para un escritorio, no para redes neuronales.
- Fracción vGPU (de 2 a 8 GB). Una parte de una GPU; las unidades de cálculo se comparten en el tiempo con los vecinos. Sirve para escritorio remoto, visualización de planos y gráficos ligeros.
- Una GPU completa (16 GB). Lo máximo que un solo modelo o aplicación puede obtener en una A16. La opción para inferencia de modelos pequeños y codificación de vídeo.
- Varias GPU (32, 64 o 128 GB). Dos, cuatro u ocho procesadores independientes, es decir, hasta dos tarjetas. No hay un bloque común de memoria: la A16 no tiene NVLink ni particionado MIG. Repartir un modelo entre GPU por el bus PCIe es posible, pero lento. Estos planes compensan cuando hay que ejecutar varias copias independientes de un servicio o atender a muchos puestos de trabajo.
Cargas de IA: qué cabe en los 16 GB de una GPU
Regla práctica de memoria: unos 2 GB por cada mil millones de parámetros en FP16, alrededor de 1 GB en 8 bits, 0,5–0,6 GB en 4 bits, más la caché de contexto (KV cache), que crece con la longitud de la conversación. En una GPU de A16 esto significa:
- los modelos de 3–4B funcionan en FP16 con margen para un contexto largo;
- los modelos de 7–8B van cómodos en 8 o 4 bits; en FP16 los pesos ocupan casi toda la memoria y no queda sitio para el contexto;
- los modelos de 13–14B solo caben en 4 bits y con contexto corto;
- el reconocimiento de texto (OCR), los embeddings para búsqueda en documentos, los clasificadores y los modelos pequeños de reconocimiento de voz son una carga cómoda;
- la generación de imágenes con Stable Diffusion funciona, aunque bastante más lenta que en tarjetas de clase RTX.
El ancho de banda de memoria de cada GPU es bajo, así que los tokens se generan sin prisa incluso con un modelo pequeño. Entrenar en una A16 tiene poco sentido: QLoRA para un modelo de 7B cabe técnicamente en 16 GB, pero tarda muchas veces más que en una A100. Para un chatbot que debe responder rápido o un modelo de más de 14B, elige una tarjeta con más memoria y más potencia de cálculo.
Escritorios virtuales, CAD y vídeo
El punto fuerte de la A16 es el VDI. Con NVIDIA vGPU una sola tarjeta atiende muchos puestos remotos: aplicaciones de oficina con gráficos acelerados por hardware, visores de modelos CAD y planos, 3D ligero. Un servidor GPU con A16 encaja en un equipo que necesita estaciones de trabajo remotas cuando comprar un ordenador potente para cada persona sale caro. Para render pesado y escenas complejas, una GPU pequeña no basta.
En vídeo importa que cada una de las cuatro GPU tiene sus propios codificadores NVENC y decodificadores NVDEC. Un servidor con varias GPU transcodifica muchos flujos a la vez a H.264 y HEVC casi sin cargar el procesador. La decodificación AV1 está soportada, pero la generación Ampere no tiene codificación AV1 por hardware.
Controladores, licencia vGPU, facturación y precios
- CUDA. La A16 tiene compute capability 8.6: hace falta CUDA 11.1 o posterior y un controlador que lo soporte. Las versiones actuales de PyTorch y los contenedores con CUDA 12 funcionan; BF16 y TF32 están soportados, FP8 no.
- Controlador dentro de vGPU. Una máquina con vGPU usa un controlador invitado cuya versión debe corresponder a la del controlador en el host del proveedor. El controlador estándar del sitio de NVIDIA puede no funcionar, así que pregunta qué imagen o paquete usar.
- Licencia vGPU. El software NVIDIA vGPU se licencia aparte. El proveedor puede incluir la licencia en el precio o no: confírmalo antes de pagar y pregunta también si tu perfil permite cálculo CUDA, porque depende del tipo de licencia.
- Por horas o mensual. Solo una pequeña parte de los planes con A16 del catálogo se factura por horas; el resto es mensual. Los escritorios y la transcodificación suelen funcionar sin parar, y para ellos un plan mensual sale más barato. El pago por horas es útil para una prueba: ejecutar tu modelo o tu cadena de vídeo, revisar la salida de nvidia-smi y decidir. Más detalles en la selección de VPS con facturación por horas.
Todos los planes con A16 del catálogo son cloud o VPS. Los precios van aproximadamente de 85 $ a 5.500 $ al mes, con el centro del rango en torno a 690 $. Abajo están las fracciones vGPU con un par de vCPU; arriba, servidores con varias GPU, decenas de vCPU y cientos de gigabytes de RAM. Si los escritorios o los datos son de usuarios de la UE, revisa el país del centro de datos por el RGPD y por la latencia hasta tu equipo en Europa o América. Compara no solo el precio total, sino cuánta memoria de vídeo y cuántas GPU completas obtienes por él.