Servidores GPU com NVIDIA A10

A NVIDIA A10 é uma placa da geração Ampere com 24 GB de memória GDDR6 e consumo de 150 W. Ela ocupa um único slot PCIe 4.0, por isso as plataformas de nuvem a instalam de forma densa e costumam dividi-la entre máquinas virtuais. A A10 não foi feita para treinar modelos grandes, e sim para inferência, gráficos e vídeo: tem núcleos Tensor com suporte a BF16 e TF32, núcleos RT para ray tracing e codecs de hardware NVENC/NVDEC. A tabela acima reúne apenas planos em nuvem com cobrança por hora, de uma placa até configurações ×4; o preço mensal vai de cerca de 330 a 6.200 dólares, com mediana perto de 1.600.

O que cabe em 24 GB

Use a regra prática: em FP16 um modelo ocupa cerca de 2 GB por bilhão de parâmetros, com quantização de 8 bits cerca de 1 GB e com 4 bits de 0,5 a 0,6 GB. Além disso, é preciso reservar espaço para o cache KV, que cresce com o tamanho do contexto e o número de requisições simultâneas.

• 7–8B parâmetros em FP16. Os pesos ocupam 14–16 GB e sobra espaço para o contexto e várias requisições em paralelo. É o principal motivo para alugar uma A10: chatbot, classificação de chamados, extração de dados de documentos.
• 13B em 8 bits. Cerca de 13–14 GB para os pesos, com qualidade próxima da precisão total.
• Cerca de 30B em 4 bits. Cabe, mas com contexto curto e um ou dois usuários: sobra pouca memória para o cache KV.
• Ajuste fino. O ajuste fino completo de um modelo de 7B não cabe em uma placa, mas QLoRA para 7B funciona bem. A A10 não foi pensada para treinar do zero.
• Imagens, gráficos, vídeo. O SDXL roda com memória de sobra. Os núcleos RT tornam a A10 adequada para estações gráficas remotas, CAD e renderização com imagem transmitida por streaming, e o NVENC/NVDEC serve para transcodificar vídeo em várias qualidades ao mesmo tempo.

Uma fração da placa ou uma A10 inteira

Alguns planos em nuvem não entregam a placa inteira, mas uma parte dela pelo software de GPU virtual da NVIDIA: 1/6, 1/3 ou 1/2 com a fatia correspondente da memória, ou seja, 4, 8 ou 12 GB. A A10 não tem MIG, então as unidades de computação são compartilhadas por tempo com os vizinhos, enquanto a memória fica fixa para cada máquina virtual. É bem provável que essas frações sejam as primeiras linhas da tabela. É fácil reconhecê-las:

• a coluna de memória de vídeo mostra menos de 24 GB;
• o plano tem poucas vCPUs e pouca RAM, alguns núcleos em vez das dezenas que vêm com a placa inteira;
• no servidor, o nvidia-smi mostra a placa com um sufixo de perfil, por exemplo A10-4Q, e não apenas A10.

Uma fração basta para um desktop virtual com aplicativos 3D, inferência leve (embeddings, reconhecimento de fala, um modelo de 7B em 4 bits em 8 GB) e um teste antes de alugar a placa inteira. A A10 completa é necessária quando o modelo ocupa mais de 12 GB, quando a latência de resposta precisa ser estável sem depender dos vizinhos ou quando há ajuste fino.

Várias placas, drivers e CUDA

A A10 não tem NVLink: nos planos ×2 e ×4 as placas trocam dados pelo PCIe 4.0. Para inferência isso é aceitável. O vLLM e motores parecidos dividem o modelo entre as placas, de modo que em ×2 (48 GB) cabe um modelo de cerca de 30B parâmetros em 8 bits e em ×4 (96 GB) um modelo de 70B em 4 bits com folga para o contexto. Muitas vezes outro modo compensa mais: rodar uma cópia própria de um modelo de 7–8B em cada placa e distribuir as requisições entre elas. Para treinar modelos grandes em várias placas sem NVLink, a A10 fica para trás.

A compute capability da A10 é 8.6. A arquitetura é suportada a partir do CUDA 11.1, e o CUDA 12 e as versões atuais do PyTorch exigem um driver da série 525 ou mais recente. Nas frações da placa, a máquina virtual usa um driver convidado de vGPU que precisa corresponder à série do driver do host: um driver comum baixado do site da NVIDIA pode não funcionar ali, então use a imagem do provedor e não atualize o driver por conta própria. Logo após a entrega, confira o nvidia-smi: modelo e perfil da placa, memória, versões do driver e do CUDA.

Cobrança por hora e comparação com L4 e A100

Todos os planos com A10 do catálogo são cobrados por hora. O plano mediano sai por cerca de 2,20 dólares por hora de uso e a fração mais barata por cerca de 0,45. Alugar por hora um servidor com A10 compensa quando a placa é necessária por uma noite, um processamento em lote ou uma semana de testes: você apaga o servidor e a cobrança para. Os detalhes estão no texto sobre cobrança por hora. Se um servidor GPU com A10 fica ocupado 24 horas por dia durante meses, compare o total com uma máquina física mensal na seção de servidores dedicados com GPU. Se você trata dados pessoais de residentes na UE, verifique o país do data center por causa do GDPR e escolha um local próximo dos seus usuários para manter a latência baixa.

A alternativa mais próxima é a NVIDIA L4: os mesmos 24 GB, geração Ada, cerca de 72 W e suporte a FP8. A A10 tem o dobro de largura de banda de memória (600 GB/s contra 300), por isso na geração de texto, em que a velocidade depende da memória, a A10 costuma ser mais rápida e a L4 mais econômica. A A100, com 40 ou 80 GB de memória rápida, NVLink e MIG, é a escolha quando o modelo não cabe em 24 GB ou há treinamento completo; ela custa bem mais.