Alle Produkte 
Server mit H100 mieten: SXM oder PCIe, was in 80 GB passt und wie man nicht zu viel zahlt
NVIDIA H100 ist der Beschleuniger der Hopper-Generation für Training und Inferenz großer Modelle. Einen Server mit H100 mietet man, wenn eine A100 nicht mehr schnell genug ist und Modell oder Datensatz 80 GB schnellen Speicher pro Karte brauchen. Die Tabelle oben zeigt Cloud-Tarife und dedizierte Server mit einer, zwei oder vier Karten; die Monatspreise im Katalog liegen etwa zwischen 1.350 und 5.400 $, die Mitte bei rund 3.000 $. Die meisten Tarife lassen sich stundenweise abrechnen.
SXM, PCIe und NVL: drei verschiedene H100 unter einem Namen
Unter der Bezeichnung H100 werden recht unterschiedliche Karten angeboten, und im Tarif steht oft nur „H100 80GB“.
- H100 SXM5, 80 GB HBM3. Rund 3,35 TB/s Speicherbandbreite und bis zu 700 W. Sie sitzt auf HGX-Boards, auf denen die Karten per NVLink mit bis zu 900 GB/s verbunden sind. Die schnellste Variante für Training auf mehreren GPUs.
- H100 PCIe, 80 GB HBM2e. Rund 2 TB/s und 350 W, eine normale Karte im PCIe-Slot. Zwei Karten lassen sich mit einer NVLink-Brücke koppeln, das ist aber optional. Langsamer als SXM, dafür günstiger und in der Cloud häufiger.
- H100 NVL, 94 GB HBM3. Eine PCIe-Karte mit mehr Speicher, ausgelegt für den Betrieb in Paaren über NVLink-Brücken. Die zusätzlichen 14 GB pro Karte helfen bei langem Kontext in der Inferenz.
So erkennen Sie die Variante: Suchen Sie im Namen nach SXM, PCIe oder NVL; 700 W deuten auf SXM, 350–400 W auf die PCIe-Version. Fragen Sie bei Mehrkarten-Konfigurationen, ob NVLink vorhanden ist und zwischen welchen Karten: Vier PCIe-Karten ohne Brücken tauschen Daten nur über den Bus aus, was Training mit aufgeteiltem Modell spürbar bremst. Nach dem Start prüfen Sie die Karte mit nvidia-smi (Name und Leistungslimit) und die Verbindungen mit nvidia-smi topo -m.
Was in 80 GB passt
Faustregel: In FP16 braucht ein Modell etwa 2 GB pro Milliarde Parameter, in 8 Bit etwa 1 GB, in 4 Bit 0,5–0,6 GB, dazu Reserve für den KV-Cache, der mit Kontextlänge und Zahl paralleler Anfragen wächst.
- 70B-Modelle in FP8 passen bei moderatem Kontext auf eine Karte mit 80 GB. Für langen Kontext und viele Nutzer ist eine H100 NVL oder ein Kartenpaar bequemer.
- Dieselben 70B in FP16 belegen rund 140 GB und brauchen zwei Karten mit aufgeteiltem Modell (Tensor Parallel).
- In 4 Bit bleibt auf einer Karte viel Platz für Kontext und parallele Anfragen bei Modellen bis 70B.
- Vollständiges Fine-Tuning von 7–13B-Modellen passt auf eine oder zwei Karten; Gradienten und Optimizer-Zustand brauchen ein Mehrfaches des Speichers der Gewichte.
- LoRA und QLoRA für 70B laufen auf mehreren Karten, QLoRA mit kleiner Batch-Größe manchmal auch auf einer.
Der wichtigste Fortschritt gegenüber der Vorgängergeneration ist die Transformer Engine mit FP8: Mit unterstützenden Frameworks laufen Inferenz und Training von Transformern deutlich schneller als in FP16, und das Modell belegt halb so viel Speicher. Für Bildgenerierung und Rendering ist die H100 überdimensioniert: Solche Aufgaben sind auf einer L40S oder Karten der RTX-Klasse günstiger.
MIG, Treiber und CUDA
Die H100 unterstützt MIG: Die Karte lässt sich in bis zu sieben isolierte Instanzen teilen, jede mit eigenem Anteil an Speicher und Recheneinheiten. So verkaufen Clouds GPU-Anteile. Für die Inferenz eines kleinen Modells ist das sparsam, Training und große Modelle brauchen aber eine ganze Karte – prüfen Sie im Tarif die VRAM-Angabe, nicht nur den Namen.
Die Compute Capability der H100 ist 9.0. Nötig sind CUDA 11.8 oder neuer, empfohlen 12.x, und ein passender NVIDIA-Rechenzentrumstreiber. Prüfen Sie im Image Treiber, CUDA-Version und PyTorch-Build: Alte Images für A100 oder V100 starten zwar, aber ohne FP8 und mit Geschwindigkeitsverlust.
Stundenweise oder monatlich
Die Karte ist teuer, deshalb wirkt sich das Abrechnungsmodell stärker aus als bei kleineren GPUs. Stundentarife passen für Experimente, Hyperparameter-Suche und einzelne Läufe: Server starten, trainieren, Checkpoint extern sichern, Server löschen. Mehr dazu im Abschnitt zur stundenweisen Abrechnung. Brauchen Sie die H100 für einen Dienst, der rund um die Uhr Nutzern antwortet, oder für wochenlanges Training, ist ein Monatstarif oder ein dedizierter GPU-Server meist günstiger.
Training über mehrere Server braucht InfiniBand oder ein anderes schnelles Netz zwischen den Knoten. Der Katalog nennt das nicht immer – fragen Sie vor der Zahlung. Achten Sie auch auf den Standort des Rechenzentrums: Bei personenbezogenen Daten aus der EU zählt die DSGVO, bei interaktiven Diensten die Latenz zu Ihren Nutzern.
Wenn Sie kein FP8 brauchen und das Budget knapp ist, vergleichen Sie mit der A100: Sie ist günstiger und hat ebenfalls 80 GB, ist aber langsamer und ohne FP8. Die neuere H200 bietet 141 GB und lohnt sich, wenn ein Modell nicht in 80–94 GB passt.