Servidores dedicados con GPU

Un servidor dedicado con tarjeta gráfica es una máquina física con una o varias tarjetas instaladas, y todo ese hardware trabaja solo para usted. No hay hipervisor entre su modelo y la GPU, ningún vecino comparte con usted el bus PCIe, los discos ni el enlace, y la configuración de la BIOS, el controlador y el sistema operativo queda en sus manos. La tabla de arriba reúne este tipo de configuraciones, desde una sola tarjeta de estación de trabajo hasta equipos con varios aceleradores. Si su tarea es corta y prefiere pagar por horas, compare los planes en la nube en la sección general de servidores GPU.

Cuándo un servidor dedicado con GPU compensa frente a una GPU en la nube

• La tarjeta trabaja casi todo el día. Una GPU en la nube por horas es ideal mientras la encienda solo una tarde. Cuando un servicio responde a usuarios sin pausa, el alquiler mensual de un servidor dedicado con GPU suele costar menos que la misma carga facturada por horas.
• El entrenamiento dura semanas. Un entrenamiento o ajuste fino largo no tolera interrupciones. En su propia máquina no se detendrá porque al proveedor le falte capacidad, y los checkpoints quedan en el disco local en lugar de un almacenamiento externo de pago.
• Los datos no deben salir de la máquina. Imágenes médicas, conversaciones con clientes, documentos internos: en un servidor dedicado los discos no se comparten con otros clientes, y es más fácil mostrar a un auditor dónde están físicamente los datos y quién tiene acceso.
• Las licencias están ligadas al hardware. Parte del software profesional de renderizado, CAD y simulación se licencia por máquina o por tarjeta física. Un servidor permanente con las mismas GPU evita reactivar la licencia tras cada reinicio de una máquina virtual.
• Necesita varias tarjetas con una topología conocida. En el entrenamiento distribuido importa cómo están conectadas exactamente las tarjetas. En la nube la interconexión suele estar oculta; en un servidor dedicado puede preguntarla de antemano y comprobarla tras la entrega.

Si no necesita cálculo en GPU y solo busca una máquina física potente para bases de datos o virtualización, conviene mirar el catálogo general de servidores dedicados: más configuraciones y precios más bajos.

Tarjeta, memoria de vídeo y conexión entre tarjetas

Lo primero que hay que leer en la línea del plan es el modelo de tarjeta y su memoria. Las tarjetas de estación de trabajo RTX A4000 y A5000 están pensadas para cargas largas en rack y son más silenciosas, las RTX 3090 y 4090 ofrecen mucho cálculo por su precio, y las A100 y H100 hacen falta cuando el modelo no cabe en 24 GB o el entrenamiento usa lotes grandes. Las antiguas Tesla K80 y P40 aparecen en configuraciones económicas: tienen mucha memoria, pero no admiten versiones recientes de CUDA ni formatos numéricos modernos, así que sirven más para experimentos que para producción. Fíjese también en tarjetas modestas como NVS o Quadro de gama baja: en servidores suelen estar solo para la salida de vídeo y casi no sirven para redes neuronales.

Un «2×» u «8×» en el nombre indica el número de tarjetas, no la memoria de una sola. Dos tarjetas de 24 GB no equivalen a una de 48 GB: el modelo debe dividirse y la velocidad de intercambio entre tarjetas pasa a ser decisiva. Las tarjetas unidas por un puente NVLink intercambian datos varias veces más rápido que por el bus PCIe, y en las plataformas multi-GPU de clase HGX todos los aceleradores están conectados entre sí directamente. Pregunte al proveedor cuántas líneas PCIe recibe cada tarjeta y si todas dependen de un mismo procesador: si la mitad está conectada a través del segundo zócalo, el tráfico entre ellas es más lento.

Procesador, discos, energía y red

• CPU y RAM. El procesador prepara los datos, decodifica imágenes y tokeniza textos. Prevea varios núcleos físicos por tarjeta y al menos tanta RAM como memoria de vídeo total; de lo contrario, los aceleradores esperan datos.
• NVMe para los datasets. Un dataset grande se lee del disco en cada época. Un NVMe local acorta notablemente el entrenamiento frente a discos SATA y volúmenes de red.
• Energía y refrigeración. Una tarjeta potente consume cientos de vatios, y un servidor con ocho aceleradores, tanto como un rack pequeño. No todos los centros de datos pueden asignar tanta potencia a una sola unidad, por eso los servidores multitarjeta llegan en lotes pequeños y en la tabla aparecen a menudo como «sin stock».
• Puerto y tráfico. Los pesos de los modelos y los datasets ocupan cientos de gigabytes. Un puerto gigabit sin un límite de tráfico estricto evita esperas en la primera descarga y en la subida regular de checkpoints.
• Cuota de instalación y plazo mínimo. Los servidores GPU llevan con más frecuencia que los normales una cuota de instalación y un plazo mínimo de alquiler de un mes a un año. Calcule el coste de todo el periodo, no solo la línea mensual.
• Plazo de entrega. Los servidores en stock se entregan en horas; las configuraciones con tarjetas escasas se montan bajo pedido y la espera se alarga a días o semanas.

Qué comprobar antes de pagar

1. Imagen con controlador. Pregunte si el proveedor instala un sistema con el controlador NVIDIA y CUDA o entrega un sistema operativo limpio. Compare la versión del controlador con lo que exigen su framework y sus contenedores.
2. Consola remota. KVM o IPMI permite reinstalar el sistema y reparar el arranque tras una actualización fallida del controlador sin esperar al soporte. En un servidor GPU esto importa aún más: un fallo del controlador a veces deja la máquina sin red.
3. Sustitución de una tarjeta averiada. Las tarjetas gráficas bajo carga constante fallan más que los discos. Averigüe en cuánto tiempo se cambia una tarjeta, si hay repuestos en el centro de datos y si el alquiler se prolonga por el tiempo de inactividad.
4. Ubicación de los datos. Compruebe el país del centro de datos y las condiciones de almacenamiento si el servidor va a tratar datos personales o secretos comerciales. Para clientes en la UE esto determina si se aplican las normas del RGPD sobre transferencias fuera de la Unión; la ubicación también influye en la velocidad de descarga de los datasets.
5. Prueba tras la entrega. En las primeras horas ejecute una tarea real a plena carga y vigile las temperaturas y frecuencias de las tarjetas: el sobrecalentamiento y la reducción de frecuencia se ven enseguida, y una reclamación es más sencilla al principio del plazo.

Si todavía duda entre clases de servidor, empiece por la guía para elegir un VPS. Y para un modelo local pequeño sin requisitos estrictos de velocidad, a veces basta un servidor normal sin tarjeta gráfica de la selección VPS para Ollama.