Alle Produkte 
NVIDIA T4: die günstige Karte für Inferenz und Video – was sie schafft und wo ihre Grenzen liegen
Die NVIDIA T4 erschien 2018 mit der Turing-Architektur und ist bis heute die günstigste Rechenzentrumskarte für KI-Aufgaben. Sie hat 16 GB GDDR6-Speicher, verbraucht nur 70 W, passt als Low-Profile-Karte in einen einzigen Slot und ist passiv gekühlt: Die Lüfter des Servers blasen Luft durch sie hindurch, deshalb lässt sie sich in fast jede Maschine einbauen. Daher der Preis: Einen Server mit T4 zu mieten kostet meist deutlich weniger als jeder Tarif mit einer neueren Karte. Die Tabelle oben zeigt Cloud-VPS mit T4 und dedizierte Server, von einer Karte bis zu Systemen mit vier.
Was in 16 GB passt
Als Faustregel gilt: In FP16 belegt ein Modell etwa 2 GB pro Milliarde Parameter, in 8 Bit etwa 1 GB, in 4 Bit 0,5–0,6 GB. Dazu kommt Reserve für den KV-Cache, der mit der Kontextlänge und der Zahl gleichzeitiger Anfragen wächst.
- Sprachmodelle. Ein Modell mit 7–8 Mrd. Parametern läuft in 8- oder 4-Bit-Quantisierung, eines mit 3–4 Mrd. in voller FP16-Genauigkeit. Das reicht für einen Support-Chatbot, die Klassifizierung von Anfragen oder Antworten auf Basis eigener Dokumente. Über 13 Mrd. Parameter passen mit brauchbarem Kontext nicht mehr auf eine Karte.
- Spracherkennung. Whisper und ähnliche Modelle gehören zu den besten Aufgaben für die T4: Die Transkription von Anrufen und Podcasts läuft um ein Vielfaches schneller als Echtzeit.
- Embeddings, OCR und Computer Vision. Vektorisierung von Dokumenten für die Suche, Texterkennung auf Scans, Objekterkennung und Bildklassifizierung passen mit großem Spielraum in den Speicher.
- Bildgenerierung. Stable Diffusion läuft, ein Bild dauert aber spürbar länger als auf Karten der RTX-Klasse; für große Modelle wie Flux sind 16 GB ohne starke Kompression zu wenig.
- Training. Kleine Modelle und Fine-Tuning per LoRA oder QLoRA bis 7 Mrd. Parameter sind möglich, aber langsam. Für ernsthaftes Training ist die T4 nicht gedacht.
Was die T4 nicht kann und was Sie im Image prüfen sollten
Die Tensor-Kerne der T4 arbeiten mit FP16, INT8 und INT4, unterstützen aber weder BF16 noch FP8. Viele neue Modelle werden in BF16 veröffentlicht und müssen auf der T4 in FP16 laufen, was manchmal zusätzliche Konfiguration erfordert. Die Karte hat Compute Capability 7.5, während einige neuere Inferenz-Engines und Attention-Kernel, etwa FlashAttention 2, 8.0 oder höher verlangen, also Ampere oder neuer. Prüfen Sie vor der Miete, ob Ihr Stack Turing unterstützt.
Mit Treibern gibt es keine Probleme: Das aktuelle CUDA 12.x unterstützt Turing weiterhin und benötigt einen Treiber ab Version 525. Prüfen Sie im Image die Treiber- und CUDA-Version und, falls Sie mit Docker arbeiten, ob das NVIDIA Container Toolkit installiert ist.
Ein eigener Vorteil sind die Hardware-Codecs NVENC und NVDEC. Ein GPU-Server mit T4 transkodiert mehrere Videostreams gleichzeitig in H.264 und HEVC und belastet die CPU dabei kaum. AV1-Encoding hat Turing nicht.
Eine Karte, ein Anteil oder mehrere
Manche Cloud-Tarife bieten nicht die ganze T4, sondern einen Anteil per vGPU: Die virtuelle Maschine erhält einen Teil des Grafikspeichers, etwa 4 oder 8 GB, und einen Teil der Rechenleistung. Für Embeddings oder ein kleines Spracherkennungsmodell genügt das, für ein Sprachmodell mit 7 Mrd. Parametern nehmen Sie besser die ganze Karte. MIG, die Technik zur Aufteilung von A100 und H100 in isolierte Teile, gibt es bei der T4 nicht.
Tarife mit „×2“ und „×4“ bedeuten zwei oder vier separate Karten mit je 16 GB. NVLink hat die T4 nicht, die Karten kommunizieren über PCIe 3.0, daher ist es langsam, ein Modell auf sie zu verteilen. Ein Server mit mehreren Karten lohnt sich, wenn auf jeder Karte eine eigene Kopie des Modells oder eine eigene Job-Warteschlange läuft: So lassen sich viele parallele Anfragen leichter bedienen.
Preise, Abrechnung und Alternativen
Im Katalog kosten T4-Tarife etwa 210 bis 4.000 US-Dollar im Monat; am unteren Ende steht ein Cloud-VPS mit einer Karte, am oberen dedizierte Server mit vier Karten, viel RAM und einem Prozessor mit vielen Kernen. Die meisten Tarife werden stündlich abgerechnet. Brauchen Sie die Karte nur einige Stunden am Tag für Batch-Transkription oder nächtliche Verarbeitung, ist die Stundenabrechnung günstiger; für einen Dienst rund um die Uhr vergleichen Sie den Monatstarif oder einen dedizierten Server. Wie man das rechnet, steht im Abschnitt zur stündlichen Abrechnung. Bezahlt wird meist per Karte; für Kunden in der EU entscheidet der Standort des Rechenzentrums auch über DSGVO-Fragen und die Latenz zu Ihren Nutzern.
Wenn die T4 an ihre Grenzen stößt, lohnt ein Blick auf die Nachbarkarten:
- NVIDIA L4 ist der direkte Nachfolger mit Ada-Architektur: 24 GB, 72 W, BF16 und FP8, AV1-Encoding und deutlich mehr Tempo. Sie kostet mehr, hebt aber fast alle Einschränkungen der T4 auf.
- NVIDIA A2 hat ebenfalls 16 GB und verbraucht noch weniger, bietet mit Ampere auch BF16, hat aber weniger Rechenleistung als die T4. Sie passt zu leichten Lasten, bei denen Kompatibilität mit neuen Engines zählt.
Wenn Sie noch nicht wissen, welche Karte Sie brauchen, beginnen Sie mit der Übersicht der GPU-Server. Eine T4 zur Miete ist ein vernünftiger erster Schritt: Damit finden Sie günstig heraus, wie viele Ressourcen Ihr Modell wirklich braucht, bevor Sie für größere Karten zahlen.