Seu próprio modelo de linguagem em um servidor: quanta memória e GPU são necessárias
Um modelo de 8 bilhões de parâmetros compactado em 4 bits ocupa cerca de 4 GB e cabe em qualquer placa de servidor; devagar, roda até no processador. Um modelo de 70 bilhões com a mesma compactação precisa de 35 GB para os pesos e ainda de memória para o contexto, ou seja, uma placa de 48 GB. A seguir: como calcular a memória do seu modelo, qual placa para cada tamanho e quanto isso custa.
A fórmula da memória
A memória de vídeo de um modelo de linguagem tem três partes.
memória = pesos + cache de contexto + memória auxiliar
Os pesos são o número de parâmetros vezes o tamanho de um parâmetro. No formato de 16 bits (FP16 ou BF16) um parâmetro ocupa 2 bytes; em 8 bits, 1 byte; em 4 bits, meio byte. A NVIDIA dá um exemplo: um modelo de 7 bilhões de parâmetros em 16 bits ocupa cerca de 14 GB. Para os modelos Llama 3.1, a Hugging Face publica uma tabela pronta:
| Modelo | 16 bits | 8 bits | 4 bits |
|---|---|---|---|
| 8 bilhões de parâmetros | 16 GB | 8 GB | 4 GB |
| 70 bilhões | 140 GB | 70 GB | 35 GB |
| 405 bilhões | 810 GB | 405 GB | 203 GB |
A compactação para 8 e 4 bits (quantização) reduz um pouco a qualidade das respostas, mas diminui a memória várias vezes. Teste com as suas próprias tarefas: passe as mesmas perguntas pela versão compactada e pela completa.
O cache de contexto
Enquanto o modelo lê a solicitação e escreve a resposta, ele guarda dados intermediários de cada palavra (mais exatamente, de cada token): o cache de chaves e valores. Ele cresce com o tamanho do contexto e com o número de solicitações que o servidor atende ao mesmo tempo. Pelo cálculo da NVIDIA, um modelo de 7 bilhões precisa de cerca de 2 GB de cache para 4.096 tokens. No Llama 3.1, com 128 mil tokens o cache ocupa 15,6 GB no modelo de 8 bilhões e 39 GB no de 70 bilhões, mais do que os próprios pesos em 4 bits.
A conclusão prática: contexto longo e muitos usuários simultâneos precisam de tanta memória quanto o próprio modelo, ou mais. O Ollama, se nada for configurado, usa um contexto de 4.096 tokens, e o cache pode ser compactado para 8 bits com OLLAMA_KV_CACHE_TYPE=q8_0, o que corta sua memória pela metade. O servidor vLLM reserva de antemão quase toda a memória de vídeo para pesos e cache; a proporção é definida pelo parâmetro --gpu-memory-utilization.
A memória auxiliar são as bibliotecas CUDA e os buffers de trabalho. A Hugging Face avisa que sua tabela não a inclui. Não escolha uma placa no limite: deixe alguns gigabytes livres.
Qual placa para cada modelo
Os preços são a mediana mensal do mercado no catálogo da accsly de 13 de novembro de 2026, planos com uma placa inteira, salvo indicação. O catálogo guarda rublos, então os valores em dólares foram convertidos e arredondados.
- 8 bilhões de parâmetros em 4 ou 8 bits (4–8 GB de pesos). Qualquer placa de 16–24 GB serve, e sobra espaço para um contexto longo. RTX 3090, US$ 421; L4, US$ 532; RTX 4090, US$ 559 por mês.
- 8 bilhões em 16 bits (16 GB de pesos). É preciso uma placa de 24 GB; numa T4 de 16 GB ele já não cabe.
- 70 bilhões em 4 bits (35 GB). Uma placa de 48 GB: L40S, US$ 929. O contexto terá de ser limitado a algumas dezenas de milhares de tokens.
- 70 bilhões em 8 bits (70 GB). Uma placa de 80–96 GB: A100 de 80 GB, cerca de US$ 1.180 (6 planos); RTX PRO 6000, US$ 1.499; H100, US$ 2.400. A RTX PRO 6000 de 96 GB deixa mais espaço para o cache.
- 70 bilhões em 16 bits (140 GB). Duas placas de 80 GB ou mais. O catálogo tem 29 planos de 13 provedores com 160 GB de memória de vídeo ou mais; um quarto deles custa menos de US$ 2.725 por mês.
- 405 bilhões em 4 bits (203 GB). Quatro placas de 80 GB ou mais. No catálogo há seis planos assim, em seis provedores, a partir de US$ 3.870 por mês.
Se o modelo é dividido entre várias placas, o software do servidor precisa suportar isso: no vLLM o número de placas é definido por --tensor-parallel-size. Placas ligadas por NVLink (A100, H100) trocam dados mais rápido do que pelo PCIe. Mais sobre as placas no artigo qual GPU para cada tarefa.
Com que velocidade vai responder
Ao gerar uma resposta, cada palavra nova exige ler da memória todos os pesos do modelo, então a velocidade depende da largura de banda da memória, não do cálculo. Daí uma estimativa simples do teto para uma única solicitação: largura de banda dividida pelo tamanho dos pesos. A velocidade real é menor, mas a ordem de grandeza está certa.
- 8 bilhões em 4 bits (cerca de 4 GB) numa L4 com seus 300 GB/s: no máximo 75 tokens por segundo; numa RTX 4090 com 1.008 GB/s, até 250.
- 70 bilhões em 4 bits (35 GB) numa L40S com 864 GB/s: até 25 tokens por segundo; numa H100 com 3.350 GB/s, até 95.
Para o chat de um único usuário basta até uma L4. Se o modelo é usado por uma equipe ou processa documentos em lotes, a memória rápida compensa.
Quando a CPU basta
O Ollama e o llama.cpp rodam um modelo sem placa de vídeo, na memória comum do servidor. Um modelo de 7–8 bilhões de parâmetros em 4 bits ocupa cerca de 4–5 GB e roda em um VPS com 16 GB de RAM: devagar, mas suficiente para um bot, triagem de e-mails ou processamento noturno. Um VPS com 16 GB de RAM tem mediana de US$ 76 por mês, cinco vezes menos que a placa mais acessível. Se há GPU mas a memória dela não basta, o Ollama divide o modelo entre a placa e o processador; dá para conferir com ollama ps, cuja coluna Processor mostra que porcentagem do modelo está na GPU. Seleção: VPS para redes neurais na CPU.
Quanta memória o ajuste fino exige
Treinar exige muitas vezes mais memória do que rodar. O treinamento completo em precisão mista com o otimizador Adam ocupa por parâmetro 6 bytes de pesos, 8 bytes de estado do otimizador e 4 bytes de gradientes, além dos dados intermediários. Por isso normalmente não se ajusta o modelo inteiro, e sim pequenas camadas adicionais: os métodos LoRA e QLoRA. A estimativa da Hugging Face para o Llama 3.1:
- 8 bilhões de parâmetros: ajuste completo, 60 GB; LoRA, 16 GB; QLoRA, 6 GB;
- 70 bilhões: completo, 500 GB; LoRA, 160 GB; QLoRA, 48 GB.
Isso bate com o trabalho dos autores do QLoRA: um modelo de 65 bilhões de parâmetros é ajustado em uma única placa de 48 GB. Ou seja, uma L40S dá conta do ajuste de um modelo de 70 bilhões, e para um de 8 bilhões basta uma RTX 4090. Treinar leva horas ou dias e compensa fazer com aluguel por hora; como calcular o custo é explicado no artigo aluguel de GPU por hora.
RAM e disco
Os pesos do modelo ficam primeiro no disco e, na inicialização, são lidos pela RAM. Um modelo de 70 bilhões em 16 bits são 140 GB de arquivos, e muitas vezes você precisa de várias versões para comparar. Escolha NVMe com folga. Os planos com uma placa costumam ter bastante RAM: a mediana é de 64 GB com L4 ou T4, 128 GB com RTX 4090 e 240 GB com H100. Se a carga é constante e o modelo grande, veja os servidores dedicados com GPU: a máquina inteira é sua e você não divide o disco com ninguém.