GPU-Server mit NVIDIA L4

Die NVIDIA L4 ist eine Karte der Generation Ada Lovelace, die wegen ihres geringen Verbrauchs in Server eingebaut wird: 72 W, flache Single-Slot-Bauform, passiv gekühlt, Stromversorgung direkt über den PCIe-4.0-x16-Steckplatz. Wo in ein Gehäuse eine große Karte passt, passen mehrere L4. Daraus ergibt sich ihre Rolle: Einen GPU-Server mit L4 mietet man nicht für das Training großer Modelle, sondern für Inferenz rund um die Uhr, Spracherkennung und Videoverarbeitung, wo der Stundenpreis und die Zahl paralleler Streams zählen. Sie ist die Nachfolgerin der T4 und bei denselben Aufgaben deutlich schneller.

Was in 24 GB Videospeicher passt

Die L4 hat 24 GB GDDR6. Für Sprachmodelle gilt als Faustregel: FP16 braucht etwa 2 GB pro Milliarde Parameter, 8 Bit etwa 1 GB, 4 Bit 0,5–0,6 GB, dazu der KV-Cache, der mit der Kontextlänge und der Zahl gleichzeitiger Anfragen wächst.

• 7–8 Mrd. Parameter in FP16 passen, doch mit langem Kontext und mehreren Nutzern gleichzeitig wird der Speicher schnell knapp.
• 13 Mrd. in 8 Bit passen mit Platz für den Kontext.
• Rund 30 Mrd. in 4 Bit sind die Grenze einer Karte, mit kurzem Kontext.
• Whisper, Embeddings, Reranker sind die Kernaufgaben der L4: Die Modelle sind klein, eine Karte kann mehrere solcher Dienste tragen.
• Bildgenerierung mit Stable Diffusion oder Flux läuft mit mittlerem Tempo; für einen großen Bilderstrom ist eine stärkere Karte angenehmer.

Feintuning ist als LoRA oder QLoRA für Modelle bis 7–8 Mrd. Parameter möglich, vollständiges Training ist aber nicht die Aufgabe dieser Karte. Die FP8-Unterstützung (Compute Capability 8.9) hilft bei der Inferenz: In FP8 belegt ein Modell halb so viel Speicher wie in FP16 und verliert meist weniger Qualität als in 4-Bit-Formaten, sofern Ihre Inferenz-Engine FP8 beherrscht.

Wo die L4 an Grenzen stößt und womit man sie vergleicht

Die wichtigste Grenze ist die Speicherbandbreite von etwa 300 GB/s. Davon hängt die Geschwindigkeit der Token-Erzeugung eines Sprachmodells vor allem ab, deshalb antwortet ein Chatbot auf einer L4 langsamer als auf einer Karte mit gleich viel, aber schnellerem Speicher.

• A10: ebenfalls 24 GB, aber etwa 600 GB/s bei 150 W. Für Chats mit echten Nutzern meist schneller, für Video und kleine Modelle lohnt der Aufpreis nicht immer.
• L40S: 48 GB und deutlich mehr Rechenleistung. Nötig, wenn ein Modell nicht in 24 GB passt oder ein großes Modell viele gleichzeitige Anfragen bekommt.

Die Stärke der L4 ist Video. Die Hardware-Einheiten NVENC und NVDEC unterstützen AV1, und eine Karte transkodiert viele Streams gleichzeitig: Livestream-Transcoding, Clip-Schnitt, Analyse von Kamerabildern mit Objekterkennung auf derselben Karte.

Ein Anteil, eine Karte oder mehrere

Die günstigsten Zeilen der Tabelle sind keine ganzen Karten, sondern vGPU-Anteile mit 2 oder 4 GB Videospeicher. MIG hat die L4 nicht, geteilt wird über vGPU-Profile. Ein Anteil eignet sich für Video, Remote-Desktops und leichte Erkennungsmodelle, nicht aber für Sprachmodelle: In 2–4 GB passt nicht einmal ein kleines LLM mit brauchbarem Kontext. Die übrigen Tarife bieten ganze Karten, eine, zwei oder vier.

NVLink fehlt der L4 ebenfalls, die Karten kommunizieren nur über PCIe. Ein Server mit L4 ×2 oder ×4 lohnt sich daher nicht für ein großes, aufgeteiltes Modell, sondern für mehrere unabhängige Worker: Jede Karte führt eine eigene Modellinstanz aus, ein Load Balancer verteilt die Anfragen. Wer ein einzelnes Modell mit 40–70 Mrd. Parametern braucht, fährt mit einer Karte mit mehr Speicher besser.

Treiber, Preise und Abrechnung

Die L4 braucht einen NVIDIA-Treiber ab dem Zweig 525 und CUDA 11.8+, für FP8 CUDA 12 und aktuelle Builds von PyTorch, vLLM oder TensorRT-LLM. Prüfen Sie im fertigen Image die Ausgabe von nvidia-smi: Kartenmodell, Speicher (24 GB oder Größe des Anteils) und Treiberversion. Bei vGPU-Anteilen muss der Gasttreiber zur Version auf dem Host passen, deshalb kommt er meist aus dem Image des Anbieters und nicht von der NVIDIA-Website.

Einen Server mit L4 mieten Sie im Katalog ungefähr ab 60 $ im Monat für einen Anteil bis etwa 5.000 $ für eine dedizierte Maschine mit vier Karten; die Mitte der Spanne liegt bei rund 870 $. Die meisten Tarife werden stündlich abgerechnet, was sich für Tests, Video-Stapelverarbeitung und Dienste lohnt, die nur tagsüber laufen. Ist die Karte rund um die Uhr ausgelastet, vergleichen Sie Stunden- und Monatspreis; mehr dazu auf der Seite zur stündlichen Abrechnung. Für personenbezogene Daten aus der EU wählen Sie ein Rechenzentrum in der EU, damit die DSGVO-Konformität einfach bleibt; für Live-Inferenz einen Standort nahe bei Ihren Nutzern. Die meisten Anbieter akzeptieren internationale Kreditkarten.