GPU-Server mit NVIDIA L40S

Die NVIDIA L40S ist eine Rechenzentrumskarte auf Basis der Ada-Lovelace-Architektur: 48 GB GDDR6-Speicher mit ECC, Tensor-Kerne mit FP8-Unterstützung, RT-Kerne für Raytracing und Hardware-Codecs mit AV1. Sie liegt zwischen sparsamen Inferenzkarten und Trainingsbeschleunigern: doppelt so viel Speicher wie Karten mit 24 GB, aber deutlich günstiger als eine H100. Die Tabelle oben zeigt Cloud-Tarife und dedizierte Server mit dieser Karte, vom vGPU-Anteil mit wenigen Gigabyte Speicher bis zu Systemen mit vier Karten. Wenn Sie einen Server mit L40S mieten möchten, prüfen Sie zuerst, was Sie tatsächlich bekommen: die ganze Karte oder einen Teil davon.

Was in 48 GB Grafikspeicher passt

Der Speicher ist der Hauptgrund für die L40S. Faustregel für Sprachmodelle: in FP16 etwa 2 GB pro Milliarde Parameter, mit 8-Bit-Quantisierung etwa 1 GB, mit 4 Bit 0,5–0,6 GB. Dazu kommt Reserve für den KV-Cache: Je länger der Kontext und je mehr parallele Anfragen, desto mehr Speicher belegt er.

• Modelle mit 7–13 Mrd. Parametern in FP16 passen mit Reserve: Ein 13B-Modell belegt etwa 26 GB, es bleibt Platz für langen Kontext und Batch-Verarbeitung.
• Modelle mit 30–34 Mrd. in 8 Bit brauchen etwa 34–36 GB für die Gewichte. Auf einer Karte mit moderatem Kontext ist das gut machbar.
• 70B-Modelle passen nur mit 4-Bit-Quantisierung: Die Gewichte belegen etwa 40 GB, für den Kontext bleiben wenige Gigabyte. Für einen Nutzer und kurze Dialoge reicht das, für einen Dienst unter Last sind zwei Karten besser.
• Feintuning. LoRA für 7–13B-Modelle und QLoRA bis etwa 30B passen auf eine Karte. Volles Training schon eines 7B-Modells mit dem Adam-Optimierer braucht mehr als 48 GB.

Hat Ihr Modell weniger als 8 Mrd. Parameter und braucht bis zu 24 GB, vergleichen Sie die Preise für Server mit L4: Für diese Last sind sie wirtschaftlicher. Für das Training großer Modelle von Grund auf eignen sich H100 und A100 besser: Ihr HBM-Speicher hat eine weit höhere Bandbreite, und die Karten sind über NVLink verbunden.

Bilder, Rendering und Video

Hier ist die L40S stärker als beim Training. Stable Diffusion und Flux erzeugen darauf Bilder in Sekunden, und 48 GB erlauben hohe Auflösungen, mehrere Modelle gleichzeitig im Speicher und das Training eigener LoRAs ohne Auslagern der Gewichte. RT-Kerne beschleunigen das Rendering in Blender Cycles über OptiX und in anderen GPU-Renderern, und der große Speicher fasst schwere Szenen mit hochaufgelösten Texturen. Hardware-NVENC und -NVDEC mit AV1-Unterstützung übernehmen das Transkodieren von Video, ohne die CPU zu belasten.

vGPU-Anteil, ganze Karte und Systeme mit ×2, ×4

Die günstigsten Zeilen der Tabelle sind keine ganzen Karten. Tarife mit Namen wie „L40S-4Q", „-8Q", „-12Q", „-16Q" geben Ihnen über NVIDIA vGPU einen Anteil an einer Karte: Die virtuelle Maschine erhält 4, 8, 12 oder 16 GB Grafikspeicher und einen Teil der Rechenzeit. Der Buchstabe Q steht für das Profil einer virtuellen Workstation.

• Ein Anteil mit 4–8 GB passt für einen entfernten Arbeitsplatz: CAD, 3D-Modellierung, hardwarebeschleunigter Videoschnitt. Ein Sprachmodell brauchbarer Größe läuft in 4 GB nicht.
• Ein Anteil mit 12–16 GB schafft Bildgenerierung und kleine 4-Bit-Modelle, doch die Recheneinheiten werden mit Nachbarn geteilt, und die Geschwindigkeit ist nicht garantiert.
• Eine ganze Karte mit 48 GB braucht man für Inferenz großer Modelle, Feintuning und stabile Leistung.
• Systeme mit ×2 und ×4 bieten insgesamt 96 bzw. 192 GB. Die L40S hat kein NVLink, die Karten tauschen Daten über PCIe 4.0 aus, daher ist das Aufteilen eines Modells auf mehrere Karten langsamer als bei Beschleunigern mit NVLink. Mehrere unabhängige Modellkopien, eine pro Karte, skalieren dagegen fast linear.

MIG unterstützt die L40S nicht: Geteilt wird die Karte nur über vGPU-Profile.

Treiber, CUDA und was im Image zu prüfen ist

• Compute Capability 8.9. Nötig ist CUDA 11.8 oder neuer; für FP8 und aktuelle PyTorch-Versionen wählen Sie ein Image mit CUDA 12.
• Bei vGPU-Anteilen installiert der Anbieter den Treiber: In der Maschine läuft ein vGPU-Gasttreiber, über den kein normaler Treiber installiert werden sollte. Fragen Sie vorab nach seiner Version.
• Die Ausgabe von nvidia-smi nach dem ersten Start zeigt Modell, zugewiesenen Speicher und CUDA-Version; vergleichen Sie sie mit dem Tarif.

Stündliche oder monatliche Abrechnung und Preisspanne

Im Katalog kostet ein GPU-Server mit L40S etwa ab 115 $ im Monat für einen vGPU-Anteil bis rund 4.500 $ für die stärksten Mehrkarten-Konfigurationen; der Median liegt bei etwa 960 $. Weniger als die Hälfte der Tarife wird stündlich abgerechnet. Stündliche Abrechnung lohnt sich für einmalige Aufgaben: einen Feintuning-Lauf, das Rendern eines Projekts, einen Modelltest vor dem Start. Ist die Karte den größten Teil des Monats ausgelastet, ist ein Monatstarif oder ein dedizierter GPU-Server meist günstiger. Wie man solche Tarife vergleicht, steht auf der Seite zur stündlichen Abrechnung. Achten Sie auch auf den Standort: Verarbeiten Sie personenbezogene Daten aus der EU, macht ein Rechenzentrum in der EU die Einhaltung der DSGVO einfacher, und ein naher Standort senkt die Latenz und beschleunigt das Laden von Datensätzen. Die Zahlungsarten je Tarif stehen in der Tabelle; die meisten internationalen Anbieter akzeptieren gängige Bankkarten.