NVIDIA T4: a placa econômica para inferência e vídeo, o que ela aguenta e onde está o limite
A NVIDIA T4 foi lançada em 2018 com a arquitetura Turing e continua sendo a placa de data center mais acessível para tarefas de IA. Ela tem 16 GB de memória GDDR6, consome apenas 70 W, ocupa um único slot de perfil baixo e tem refrigeração passiva: quem empurra o ar são os ventiladores do servidor, por isso os data centers conseguem instalá-la em quase qualquer máquina. Daí o preço: alugar um servidor com T4 costuma sair bem mais barato que qualquer plano com uma placa mais nova. A tabela acima reúne VPS em nuvem com T4 e servidores dedicados, de uma placa até máquinas com quatro.
O que cabe em 16 GB
Regra prática: em FP16 um modelo ocupa cerca de 2 GB por bilhão de parâmetros, em 8 bits cerca de 1 GB e em 4 bits 0,5–0,6 GB. Além disso, é preciso deixar margem para o cache KV, que cresce com o tamanho do contexto e o número de requisições simultâneas.
- Modelos de linguagem. Um modelo de 7–8B parâmetros roda com quantização de 8 ou 4 bits, um de 3–4B em FP16 completo. Isso basta para um chatbot de suporte, classificação de chamados ou respostas sobre uma base de documentos. Acima de 13B já não cabe em uma placa com um contexto utilizável.
- Reconhecimento de fala. Whisper e modelos parecidos estão entre as melhores tarefas para a T4: a transcrição de chamadas e podcasts roda muitas vezes mais rápido que o tempo real.
- Embeddings, OCR e visão computacional. Vetorizar documentos para busca, ler texto de digitalizações, detectar objetos e classificar imagens cabe na memória com bastante folga.
- Geração de imagens. O Stable Diffusion roda, mas cada imagem demora bem mais que em placas da classe RTX; para modelos grandes como o Flux, 16 GB não bastam sem compressão forte.
- Treinamento. Modelos pequenos e ajuste fino com LoRA ou QLoRA até 7B são possíveis, mas lentos. A T4 não é uma placa para treinamento sério.
O que a T4 não faz e o que verificar na imagem
Os núcleos tensor da T4 trabalham com FP16, INT8 e INT4, mas não suportam BF16 nem FP8. Muitos modelos recentes são publicados em BF16 e, na T4, precisam rodar em FP16, o que às vezes exige ajustes. A placa tem compute capability 7.5, enquanto alguns motores de inferência e kernels de atenção recentes, como o FlashAttention 2, exigem 8.0 ou mais, ou seja, Ampere ou posterior. Antes de alugar, confirme que o seu stack suporta Turing.
Drivers não são problema: o CUDA 12.x atual ainda suporta Turing e precisa de um driver da versão 525 ou mais nova. Na imagem, confira as versões do driver e do CUDA e, se você usa Docker, se o NVIDIA Container Toolkit está instalado.
Outra vantagem são os codecs de hardware NVENC e NVDEC. Um servidor GPU com T4 transcodifica vários fluxos de vídeo ao mesmo tempo para H.264 e HEVC quase sem carregar o processador. A Turing não codifica em AV1.
Uma placa, uma fração ou várias
Alguns planos em nuvem não entregam a T4 inteira, e sim uma fração via vGPU: a máquina virtual recebe parte da memória de vídeo, por exemplo 4 ou 8 GB, e parte do processamento. Para embeddings ou um modelo pequeno de reconhecimento de fala isso basta, mas para um modelo de linguagem de 7B escolha a placa inteira. A T4 não tem MIG, a tecnologia que divide a A100 e a H100 em partes isoladas.
Planos «×2» e «×4» significam duas ou quatro placas separadas de 16 GB. A T4 não tem NVLink e as placas se comunicam por PCIe 3.0, então dividir um modelo entre elas é lento. Um servidor com várias placas compensa quando cada uma roda a sua própria cópia do modelo ou a sua própria fila de tarefas: assim fica mais fácil atender muitas requisições em paralelo.
Preços, cobrança e alternativas
No catálogo, os planos com T4 custam aproximadamente de 210 a 4.000 dólares por mês; na ponta de baixo fica um VPS em nuvem com uma placa, na de cima, servidores dedicados com quatro placas, muita RAM e um processador com muitos núcleos. A maioria dos planos é cobrada por hora. Se você precisa da placa algumas horas por dia para transcrição em lote ou processamento noturno, a cobrança por hora sai mais barata; para um serviço que roda o tempo todo, compare o plano mensal ou um servidor dedicado. A seção sobre cobrança por hora explica como fazer a conta. Quase todos aceitam cartão; a localização do data center define ainda a latência até os seus usuários e, para clientes na UE, as questões do GDPR.
Se você bater nos limites da T4, veja as placas vizinhas:
- NVIDIA L4 é a sucessora direta com arquitetura Ada: 24 GB, 72 W, BF16 e FP8, codificação AV1 e velocidade bem maior. Custa mais, mas remove quase todas as limitações da T4.
- NVIDIA A2 também tem 16 GB e consome ainda menos, com arquitetura Ampere e BF16, mas tem menos poder de cálculo que a T4. Serve para cargas leves em que importa a compatibilidade com motores novos.
Se ainda não sabe de qual placa precisa, comece pela visão geral dos servidores GPU. Uma T4 para alugar é um primeiro passo sensato: com ela você descobre de forma barata quantos recursos o seu modelo realmente exige antes de pagar por placas maiores.