GPU-Server mit NVIDIA RTX PRO 6000

Die NVIDIA RTX PRO 6000 ist eine Profikarte der Blackwell-Generation mit 96 GB GDDR7-Speicher mit Fehlerkorrektur (ECC). Das ist mehr als die 80 GB einer H100 PCIe und doppelt so viel wie bei der RTX 6000 Ada. Der wichtigste Grund für einen GPU-Server mit RTX PRO 6000: ein Modell auf einer einzigen Karte betreiben, das bisher zwei brauchte, ohne die Gewichte auf mehrere Beschleuniger zu verteilen. Gleichzeitig bleibt sie eine vollwertige Grafikkarte mit RT-Kernen für Raytracing und NVENC-Hardware-Encodern, deshalb wird sie auch für Rendering und Video gemietet.

Drei Karten mit ähnlichem Namen

In Katalogen verwechselt man leicht drei verschiedene Generationen, und ihre Preise liegen um ein Vielfaches auseinander:

• Quadro RTX 6000 — Turing-Architektur, 24 GB. Eine ältere Grafikkarte, für aktuelle neuronale Netze fehlen ihr Speicher und Rechenleistung.
• RTX 6000 Ada — 48 GB, die Vorgängergeneration. Technisch nah an der L40S.
• RTX PRO 6000 Blackwell — 96 GB GDDR7, Tensor-Kerne der fünften Generation mit FP4, FP6 und FP8. Genau diese Karte ist auf dieser Seite gesammelt.

Auch Blackwell gibt es in Varianten. Die Server Edition ist für das Rack gebaut: passive Kühlung, bis zu 600 W, die Luft liefern die Lüfter des Servers. Max-Q ist eine Workstation-Version mit 300 W und Radiallüfter; mehrere davon passen leichter in ein Gehäuse, unter Dauerlast laufen sie aber mit niedrigeren Taktraten. Steht im Tarif nur „RTX PRO 6000“, fragen Sie beim Anbieter nach der Variante: Davon hängen Geschwindigkeit und die Verfügbarkeit von MIG ab.

Was in 96 GB passt

Als Faustregel braucht ein Modell in FP16 etwa 2 GB pro Milliarde Parameter, mit 8-Bit-Quantisierung etwa 1 GB, mit 4 Bit 0,5–0,6 GB. Dazu kommt Reserve für den KV-Cache, der mit Kontextlänge und Zahl paralleler Anfragen wächst.

• FP16 ohne Quantisierung — Modelle bis etwa 30–40 Milliarden Parameter mit moderatem Kontext.
• 8 Bit — ein Modell mit 70 Milliarden Parametern komplett auf einer Karte, mit Platz für den Cache.
• 4 Bit — Modelle der Klasse 100–120 Milliarden. Die FP4-Unterstützung der Tensor-Kerne beschleunigt solche Inferenz, wenn Ihre Engine das Format beherrscht.
• Feintuning — LoRA für Modelle mit 13–30 Milliarden in 16 Bit und QLoRA für 70 Milliarden. Vollständiges Training großer Modelle ist keine Aufgabe für diese Karte.
• Bilder und Video — Bildgenerierung in großen Batches, schwere Videogenerierungsmodelle, denen 24–48 GB zu eng sind.
• Rendering und 3D — Szenen mit riesigen Texturen, die nicht in Gaming-Karten passen, Offline-Rendering, Video-Transcoding mit NVENC.

MIG, mehrere Karten und wann eine H100 besser ist

Die Server Edition unterstützt MIG: Die Karte lässt sich in vier isolierte Instanzen mit je etwa 24 GB aufteilen, jede mit eigenem Speicher und eigenen Recheneinheiten. Das ist praktisch, wenn mehrere kleine Modelle oder mehrere Nutzer einen Server teilen. Nennt ein Tarif einen Anteil der Karte mit einem Teil des Speichers, ist das ein vGPU- oder MIG-Slice, keine ganze Karte: Vergleichen Sie die Speichergröße, nicht den Modellnamen.

Tarife mit „×2“ und „×4“ bieten zusammen 192 und 384 GB, aber die RTX PRO 6000 hat kein NVLink, die Karten tauschen Daten über PCIe 5.0 aus. Für Inferenz stört das meist nicht: Jede Karte kann eine eigene Kopie des Modells ausführen, und ein Modell über PCIe auf zwei Karten zu verteilen funktioniert akzeptabel. Beim Training, wenn Karten ständig Gradienten abgleichen, frisst die langsamere Verbindung den Gewinn auf. Für Multi-GPU-Training sehen Sie sich Server mit H100 und NVLink an.

Treiber, CUDA und Image

Die Karte hat Compute Capability 12.0. Sie braucht den Treiberzweig R570 oder neuer und CUDA 12.8 oder höher. In älteren Images mit CUDA 12.4 wird die Karte entweder nicht erkannt, oder das Framework findet keine Kernel für sie. Prüfen Sie nach der Bereitstellung die Ausgabe von nvidia-smi, die CUDA-Version im Container und ob PyTorch oder Ihre Inferenz-Engine mit Unterstützung für diese Architektur gebaut ist.

Stundenabrechnung oder Monat

Ein Server mit RTX PRO 6000 kostet im Katalog etwa 830 bis 5.700 US-Dollar im Monat, ein typischer Tarif rund 1.800 US-Dollar. Das untere Ende ist eine einzelne Cloud-Karte, das obere Ende sind dedizierte Maschinen mit vier Karten. Die meisten Tarife werden stundenweise abgerechnet, was sich für einen Testlauf, eine einmalige Datenverarbeitung oder ein Rendering mit Termin lohnt: Sie zahlen nur die Stunden, in denen die Maschine läuft. Ist die Karte mehr als zwei Drittel des Monats ausgelastet, vergleichen Sie mit dem Monatspreis und mit dem Bereich dedizierte GPU-Server. Prüfen Sie vor der Zahlung, ob der Anbieter Ihre Karte in Ihrer Währung akzeptiert; verarbeiten Sie personenbezogene Daten aus der EU, achten Sie wegen der DSGVO auf das Land des Rechenzentrums und auf die Latenz zu Ihren Nutzern.