Servidores GPU com NVIDIA RTX PRO 6000

A NVIDIA RTX PRO 6000 é uma placa profissional da geração Blackwell com 96 GB de memória GDDR7 com correção de erros (ECC). É mais do que os 80 GB de uma H100 PCIe e o dobro de uma RTX 6000 Ada. O principal motivo para escolher um servidor GPU com RTX PRO 6000 é rodar numa única placa um modelo que antes precisava de duas, sem dividir os pesos entre aceleradores. Ao mesmo tempo, continua sendo uma placa gráfica completa: tem núcleos RT para ray tracing e codificadores NVENC por hardware, por isso também é alugada para renderização e vídeo.

Três placas com nomes parecidos

Nos catálogos é fácil confundir três gerações diferentes, e os preços variam várias vezes entre elas:

• Quadro RTX 6000 — arquitetura Turing, 24 GB. Uma placa gráfica antiga, com pouca memória e pouco processamento para as redes neurais atuais.
• RTX 6000 Ada — 48 GB, a geração anterior. No projeto é próxima da L40S.
• RTX PRO 6000 Blackwell — 96 GB GDDR7, núcleos tensor de quinta geração com formatos FP4, FP6 e FP8. É a placa reunida nesta página.

A Blackwell também tem variantes. A Server Edition foi feita para rack: refrigeração passiva, até 600 W, com o fluxo de ar vindo dos ventiladores do servidor. A Max-Q é uma versão de workstation de 300 W com ventoinha tipo blower; é mais fácil colocar várias num mesmo gabinete, mas sob carga contínua ela trabalha em frequências mais baixas. Se a linha do plano diz apenas "RTX PRO 6000", pergunte ao provedor qual é a variante: dela dependem a velocidade e a disponibilidade de MIG.

O que cabe em 96 GB

Como regra prática, em FP16 um modelo ocupa cerca de 2 GB por bilhão de parâmetros, com quantização de 8 bits cerca de 1 GB e com 4 bits 0,5–0,6 GB. Além disso é preciso folga para o cache KV, que cresce com o tamanho do contexto e o número de requisições simultâneas.

• FP16 sem quantização — modelos de até uns 30–40 bilhões de parâmetros com contexto moderado.
• 8 bits — um modelo de 70 bilhões de parâmetros inteiro numa placa, com espaço para o cache.
• 4 bits — modelos da classe de 100–120 bilhões. O suporte a FP4 nos núcleos tensor acelera esse tipo de inferência se o seu motor trabalha com o formato.
• Ajuste fino — LoRA para modelos de 13–30 bilhões em 16 bits e QLoRA para 70 bilhões. O treinamento completo de modelos grandes não é trabalho para esta placa.
• Imagens e vídeo — geração de imagens em lotes grandes, modelos pesados de geração de vídeo que ficam apertados em 24–48 GB.
• Renderização e 3D — cenas com texturas enormes que não cabem em placas de jogos, renderização offline, transcodificação de vídeo com NVENC.

MIG, várias placas e quando a H100 é melhor

A Server Edition suporta MIG: a placa pode ser dividida em quatro instâncias isoladas de cerca de 24 GB cada, cada uma com sua própria memória e unidades de processamento. Isso é prático quando vários modelos pequenos ou vários usuários compartilham um servidor. Se um plano oferece uma fração da placa com parte da memória, trata-se de uma vGPU ou de uma fatia MIG, não de uma placa inteira: compare a quantidade de memória, não o nome do modelo.

Os planos "×2" e "×4" somam 192 e 384 GB, mas a RTX PRO 6000 não tem NVLink, e as placas trocam dados via PCIe 5.0. Para inferência isso costuma não atrapalhar: cada placa pode rodar sua própria cópia do modelo, e dividir um modelo entre duas placas via PCIe funciona de forma aceitável. No treinamento, em que as placas sincronizam gradientes o tempo todo, o link mais lento consome o ganho. Se você planeja treinar com várias GPUs, veja os servidores com H100 e NVLink.

Driver, CUDA e imagem

A placa tem compute capability 12.0. Ela exige o ramo de drivers R570 ou mais recente e CUDA 12.8 ou superior. Em imagens antigas com CUDA 12.4 a placa não é detectada ou o framework não encontra kernels para ela. Depois de receber o servidor, confira a saída do nvidia-smi, a versão do CUDA dentro do contêiner e se o PyTorch ou o seu motor de inferência foi compilado com suporte a essa arquitetura.

Cobrança por hora ou por mês

Alugar um servidor com RTX PRO 6000 no catálogo custa aproximadamente de 830 a 5.700 dólares por mês, e um plano típico fica em torno de 1.800 dólares. A ponta de baixo é uma única placa na nuvem; a de cima, máquinas dedicadas com quatro placas. A maioria dos planos é cobrada por hora, o que compensa para um teste, um processamento de dados pontual ou uma renderização com prazo: você paga só pelas horas em que a máquina funciona. Se a placa ficar ocupada mais de dois terços do mês, compare com o preço mensal e com a seção de servidores dedicados com GPU. Antes de pagar, verifique se o provedor aceita o seu cartão na sua moeda; se você trata dados pessoais de residentes da UE, confira também o país do data center por causa do RGPD e a latência até os seus usuários.