Servidores GPU con NVIDIA A10

La NVIDIA A10 es una tarjeta de generación Ampere con 24 GB de memoria GDDR6 y un consumo de 150 W. Ocupa una sola ranura PCIe 4.0, por eso las plataformas en la nube la instalan de forma densa y suelen repartirla entre máquinas virtuales. La A10 no está pensada para entrenar modelos grandes, sino para inferencia, gráficos y vídeo: tiene núcleos Tensor con soporte de BF16 y TF32, núcleos RT para trazado de rayos y códecs por hardware NVENC/NVDEC. En la tabla de arriba solo hay planes en la nube con facturación por horas, desde una tarjeta hasta configuraciones ×4; el precio mensual va aproximadamente de 330 a 6.200 dólares, con una mediana cercana a 1.600.

Qué cabe en 24 GB

Use esta regla práctica: en FP16 un modelo ocupa unos 2 GB por cada mil millones de parámetros, con cuantización de 8 bits alrededor de 1 GB y con 4 bits de 0,5 a 0,6 GB. Encima hay que dejar margen para la caché KV, que crece con la longitud del contexto y el número de peticiones simultáneas.

• 7–8B parámetros en FP16. Los pesos ocupan 14–16 GB y queda sitio para el contexto y varias peticiones en paralelo. Es el motivo principal para alquilar una A10: un chatbot, clasificación de solicitudes, extracción de datos de documentos.
• 13B en 8 bits. Unos 13–14 GB para los pesos, con una calidad cercana a la precisión completa.
• Unos 30B en 4 bits. Cabe, pero con un contexto corto y uno o dos usuarios: queda poca memoria para la caché KV.
• Ajuste fino. El ajuste fino completo de un modelo de 7B no cabe en una sola tarjeta, pero QLoRA para 7B funciona sin problemas. La A10 no está pensada para entrenar desde cero.
• Imágenes, gráficos, vídeo. SDXL funciona con memoria de sobra. Los núcleos RT hacen que la A10 encaje en estaciones gráficas remotas, CAD y renderizado con imagen transmitida en streaming, y NVENC/NVDEC sirven para transcodificar vídeo a varias calidades a la vez.

Una fracción de la tarjeta o una A10 completa

Algunos planes en la nube no dan la tarjeta entera, sino una parte mediante el software de GPU virtual de NVIDIA: 1/6, 1/3 o 1/2 con la porción correspondiente de memoria, es decir, 4, 8 o 12 GB. La A10 no tiene MIG, así que las unidades de cálculo se comparten por tiempo con los vecinos, mientras que la memoria queda asignada de forma fija a cada máquina virtual. Lo más probable es que esas fracciones sean las primeras filas de la tabla. Se reconocen con facilidad:

• la columna de memoria de vídeo muestra menos de 24 GB;
• el plan tiene pocas vCPU y poca RAM, unos pocos núcleos en lugar de las decenas que acompañan a una tarjeta completa;
• en el servidor, nvidia-smi muestra la tarjeta con un sufijo de perfil, por ejemplo A10-4Q, y no solo A10.

Una fracción basta para un escritorio virtual con aplicaciones 3D, inferencia ligera (embeddings, reconocimiento de voz, un modelo de 7B en 4 bits sobre 8 GB) y una prueba antes de alquilar la tarjeta completa. La A10 entera hace falta cuando el modelo ocupa más de 12 GB, cuando la latencia de respuesta debe ser estable sin depender de los vecinos o cuando se hace ajuste fino.

Varias tarjetas, controladores y CUDA

La A10 no tiene NVLink: en los planes ×2 y ×4 las tarjetas intercambian datos por PCIe 4.0. Para inferencia es aceptable. vLLM y motores similares reparten el modelo entre tarjetas, de modo que en ×2 (48 GB) cabe un modelo de unos 30B parámetros en 8 bits y en ×4 (96 GB) un modelo de 70B en 4 bits con margen para el contexto. A menudo sale más a cuenta otro modo: cargar una copia propia de un modelo de 7–8B en cada tarjeta y repartir las peticiones entre ellas. Para entrenar modelos grandes en varias tarjetas sin NVLink, la A10 se queda atrás.

La compute capability de la A10 es 8.6. La arquitectura está soportada desde CUDA 11.1, y CUDA 12 y las versiones actuales de PyTorch requieren un controlador de la rama 525 o posterior. En las fracciones de tarjeta, la máquina virtual usa un controlador invitado de vGPU que debe coincidir con la rama del controlador del host: un controlador normal descargado de la web de NVIDIA puede no funcionar ahí, así que use la imagen del proveedor y no actualice el controlador por su cuenta. Nada más recibir el servidor, revise nvidia-smi: modelo y perfil de la tarjeta, memoria, versiones del controlador y de CUDA.

Facturación por horas y comparación con L4 y A100

Todos los planes con A10 del catálogo se facturan por horas. El plan mediano sale por unos 2,20 dólares por hora de funcionamiento y la fracción más barata por unos 0,45. Alquilar por horas un servidor con A10 compensa cuando necesita la tarjeta para una tarde, un trabajo por lotes o una semana de pruebas: elimina el servidor y los cargos se detienen. Los detalles están en la nota sobre la facturación por horas. Si un servidor GPU con A10 está ocupado día y noche durante meses, compare el total con una máquina física mensual en la sección de servidores dedicados con GPU. Si trata datos personales de residentes en la UE, compruebe el país del centro de datos por el RGPD y elija una ubicación cercana a sus usuarios para mantener baja la latencia.

La alternativa más cercana es la NVIDIA L4: los mismos 24 GB, generación Ada, unos 72 W y soporte de FP8. La A10 tiene el doble de ancho de banda de memoria (600 GB/s frente a 300), así que en la generación de texto, donde la velocidad depende de la memoria, la A10 suele ser más rápida y la L4 más eficiente. La A100, con 40 u 80 GB de memoria rápida, NVLink y MIG, es la opción cuando el modelo no cabe en 24 GB o se hace un entrenamiento completo; cuesta bastante más.