Todos os produtos 
Aluguel de servidor com H100: SXM ou PCIe, o que cabe em 80 GB e como não pagar a mais
A NVIDIA H100 é o acelerador da geração Hopper para treinar e servir modelos grandes. Aluga-se um servidor com H100 quando a A100 já não é rápida o bastante e o modelo ou o dataset precisam de 80 GB de memória rápida por placa. A tabela acima reúne planos em nuvem e servidores dedicados com uma, duas ou quatro placas; os preços mensais no catálogo vão de cerca de US$ 1.350 a US$ 5.400, com o meio da faixa perto de US$ 3.000. A maioria dos planos pode ser cobrada por hora.
SXM, PCIe e NVL: três H100 diferentes com o mesmo nome
Placas bem diferentes são vendidas como H100, e os planos muitas vezes dizem apenas "H100 80GB".
- H100 SXM5, 80 GB HBM3. Cerca de 3,35 TB/s de largura de banda de memória e até 700 W. Fica em placas HGX, onde as GPUs se ligam por NVLink a até 900 GB/s. É a opção mais rápida para treino com várias GPUs.
- H100 PCIe, 80 GB HBM2e. Cerca de 2 TB/s e 350 W, uma placa comum em slot PCIe. Duas placas podem ser ligadas por uma ponte NVLink, mas isso é opcional, não a regra. Mais lenta que a SXM, porém mais barata e mais comum na nuvem.
- H100 NVL, 94 GB HBM3. Uma placa PCIe com mais memória, feita para trabalhar em pares com pontes NVLink. Os 14 GB extras por placa ajudam com contexto longo na inferência.
Como saber qual está no plano: procure SXM, PCIe ou NVL no nome; potência de 700 W indica SXM, 350–400 W, a versão PCIe. Em configurações com várias placas, pergunte se há NVLink e entre quais placas: quatro placas PCIe sem pontes trocam dados apenas pelo barramento, o que deixa bem mais lento o treino com o modelo dividido. Com o servidor ligado, confira a placa com nvidia-smi (nome e limite de potência) e as ligações entre placas com nvidia-smi topo -m.
O que cabe em 80 GB
Regra prática: em FP16 um modelo ocupa cerca de 2 GB por bilhão de parâmetros, em 8 bits cerca de 1 GB, em 4 bits 0,5–0,6 GB, mais uma folga para o cache KV, que cresce com o tamanho do contexto e o número de requisições simultâneas.
- Modelos de 70B em FP8 cabem em uma única placa de 80 GB com contexto moderado. Para contexto longo e muitos usuários, uma H100 NVL ou duas placas são mais confortáveis.
- Os mesmos 70B em FP16 ocupam cerca de 140 GB e exigem duas placas com o modelo dividido (tensor parallel).
- Em 4 bits uma placa deixa bastante espaço para contexto e requisições paralelas em modelos de até 70B.
- O fine-tuning completo de modelos de 7–13B cabe em uma ou duas placas; gradientes e estado do otimizador ocupam várias vezes mais memória que os pesos.
- LoRA e QLoRA para 70B rodam em várias placas; QLoRA com batch pequeno, às vezes em uma só.
O principal avanço em relação à geração anterior é o Transformer Engine com FP8: em frameworks que o suportam, a inferência e o treino de transformers ficam bem mais rápidos que em FP16, e o modelo ocupa metade da memória. Para geração de imagens e renderização a H100 é exagerada: essas tarefas saem mais baratas em uma L40S ou em placas da classe RTX.
MIG, drivers e CUDA
A H100 suporta MIG: a placa pode ser dividida em até sete instâncias isoladas, cada uma com sua parte de memória e de unidades de cálculo. É assim que as nuvens vendem GPU fracionada. Para servir um modelo pequeno é econômico, mas treino e modelos grandes precisam da placa inteira; confira a VRAM do plano, não só o nome.
A compute capability da H100 é 9.0. Ela exige CUDA 11.8 ou mais recente (12.x recomendado) e um driver NVIDIA para data center compatível. Na imagem, confira o driver, a versão do CUDA e o build do PyTorch: imagens antigas feitas para A100 ou V100 até iniciam, mas sem FP8 e com perda de velocidade.
Por hora ou por mês
A placa é cara, então o modelo de cobrança pesa mais no total do que em GPUs menores. Planos por hora servem para experimentos, busca de hiperparâmetros e execuções pontuais: ligar o servidor, treinar, salvar o checkpoint em armazenamento externo e excluir o servidor. Mais detalhes na seção sobre cobrança por hora. Se você precisa da H100 para um serviço que atende usuários 24 horas por dia ou para um treino de semanas, um plano mensal ou um servidor dedicado com GPU costuma sair mais barato.
Treinar em vários servidores ao mesmo tempo exige InfiniBand ou outra rede rápida entre os nós. O catálogo nem sempre informa isso, então pergunte antes de pagar. Veja também a localização do data center: para dados pessoais de usuários da UE vale o GDPR, e em serviços interativos importa a latência até seus usuários na Europa ou nas Américas.
Se você não precisa de FP8 e o orçamento é curto, compare com a A100: é mais barata e também tem 80 GB, mas é mais lenta e não tem FP8. A H200, mais nova, oferece 141 GB e faz sentido quando o modelo não cabe em 80–94 GB.