Servidores GPU com NVIDIA A16

A NVIDIA A16 é construída de forma diferente da maioria das placas para servidor. Uma única placa PCIe traz quatro GPUs independentes da geração Ampere, cada uma com seus próprios 16 GB de GDDR6, num total de 64 GB por placa e consumo de cerca de 250 W. Ela foi projetada para desktops virtuais e vídeo: uma placa é dividida entre muitos usuários, e os codecs de hardware dão conta de dezenas de fluxos de vídeo. Já a capacidade de cálculo de cada uma das quatro GPUs é modesta, bem abaixo de uma A10 ou de uma L4. Por isso, alugar um servidor com A16 faz sentido quando importa o número de usuários e fluxos, e não a velocidade de um único modelo grande.

O que «A16» significa num plano

A principal armadilha: «A16» no nome de um plano quase nunca significa a placa inteira com 64 GB. Normalmente a máquina virtual recebe uma das quatro GPUs com seus 16 GB ou uma fatia vGPU de uma GPU com parte da memória dela. É por isso que a memória de vídeo no catálogo começa em 2 GB: são perfis vGPU pequenos, pensados para um desktop, não para redes neurais.

• Fatia vGPU (de 2 a 8 GB). Uma parte de uma GPU; as unidades de cálculo são compartilhadas no tempo com os vizinhos. Serve para desktop remoto, visualização de desenhos técnicos e gráficos leves.
• Uma GPU inteira (16 GB). O máximo que um único modelo ou aplicativo pode obter numa A16. A opção para inferência de modelos pequenos e codificação de vídeo.
• Várias GPUs (32, 64 ou 128 GB). Dois, quatro ou oito processadores independentes, ou seja, até duas placas. Não existe um pool de memória comum: a A16 não tem NVLink nem particionamento MIG. Dividir um modelo entre GPUs pelo barramento PCIe é possível, mas lento. Esses planos compensam quando é preciso rodar várias cópias independentes de um serviço ou atender muitas estações de trabalho.

Cargas de IA: o que cabe nos 16 GB de uma GPU

Regra prática de memória: cerca de 2 GB por bilhão de parâmetros em FP16, cerca de 1 GB em 8 bits, 0,5–0,6 GB em 4 bits, mais o cache de contexto (KV cache), que cresce com o tamanho da conversa. Numa GPU da A16 isso significa:

• modelos de 3–4B rodam em FP16 com folga para contexto longo;
• modelos de 7–8B rodam com conforto em 8 ou 4 bits; em FP16 os pesos ocupam quase toda a memória e não sobra espaço para o contexto;
• modelos de 13–14B cabem apenas em 4 bits e com contexto curto;
• reconhecimento de texto (OCR), embeddings para busca em documentos, classificadores e modelos pequenos de reconhecimento de fala são uma carga confortável;
• a geração de imagens com Stable Diffusion funciona, mas bem mais devagar do que em placas da classe RTX.

A largura de banda de memória de cada GPU é baixa, então os tokens são gerados sem pressa mesmo num modelo pequeno. Treinar numa A16 faz pouco sentido: QLoRA para um modelo de 7B cabe tecnicamente em 16 GB, mas leva muitas vezes mais tempo do que numa A100. Para um chatbot que precisa responder rápido ou um modelo acima de 14B, escolha uma placa com mais memória e mais poder de cálculo.

Desktops virtuais, CAD e vídeo

O ponto forte da A16 é o VDI. Com NVIDIA vGPU, uma placa atende muitas estações remotas: aplicativos de escritório com gráficos acelerados por hardware, visualizadores de modelos CAD e desenhos, 3D leve. Um servidor GPU com A16 serve para uma equipe que precisa de estações de trabalho remotas quando comprar um computador potente para cada pessoa sai caro. Para renderização pesada e cenas complexas, uma GPU pequena não basta.

Para vídeo, o que importa é que cada uma das quatro GPUs tem seus próprios codificadores NVENC e decodificadores NVDEC. Um servidor com várias GPUs transcodifica muitos fluxos ao mesmo tempo para H.264 e HEVC quase sem carregar o processador. A decodificação AV1 é suportada, mas a geração Ampere não tem codificação AV1 por hardware.

Drivers, licença vGPU, cobrança e preços

• CUDA. A A16 tem compute capability 8.6: é preciso CUDA 11.1 ou mais recente e um driver que o suporte. Versões atuais do PyTorch e contêineres com CUDA 12 funcionam; BF16 e TF32 são suportados, FP8 não.
• Driver dentro da vGPU. Uma máquina com vGPU usa um driver convidado cuja versão precisa corresponder ao driver no host do provedor. O driver padrão do site da NVIDIA pode não funcionar, então pergunte qual imagem ou pacote usar.
• Licença vGPU. O software NVIDIA vGPU é licenciado à parte. O provedor pode ou não incluir a licença no preço: confirme antes de pagar e pergunte também se o seu perfil permite computação CUDA, porque isso depende do tipo de licença.
• Por hora ou mensal. Só uma pequena parte dos planos com A16 do catálogo é cobrada por hora; o resto é mensal. Desktops e transcodificação costumam rodar sem parar, e para eles o plano mensal sai mais barato. A cobrança por hora é útil para um teste: rodar seu modelo ou seu pipeline de vídeo, conferir a saída do nvidia-smi e decidir. Mais detalhes na seleção de VPS com cobrança por hora.

Todos os planos com A16 do catálogo são cloud ou VPS. Os preços vão de aproximadamente US$ 85 a US$ 5.500 por mês, com o meio da faixa em torno de US$ 690. Na parte de baixo ficam fatias vGPU com um par de vCPUs; no topo, servidores com várias GPUs, dezenas de vCPUs e centenas de gigabytes de RAM. Se os desktops ou os dados forem de usuários da UE, verifique o país do data center por causa do GDPR e da latência até a sua equipe na Europa ou nas Américas. Compare não só o preço total, mas quanta memória de vídeo e quantas GPUs inteiras você recebe por ele.