Dedizierte GPU-Server

Ein dedizierter Server mit Grafikkarte ist eine physische Maschine mit einer oder mehreren Karten, und die gesamte Hardware arbeitet nur für Sie. Zwischen Ihrem Modell und der GPU sitzt kein Hypervisor, keine Nachbarn teilen sich mit Ihnen den PCIe-Bus, die Festplatten oder die Anbindung, und BIOS, Treiber und Betriebssystem bleiben in Ihrer Hand. Die Tabelle oben zeigt solche Konfigurationen, von einer einzelnen Workstation-Karte bis zu Systemen mit mehreren Beschleunigern. Ist Ihre Aufgabe kurz und wünschen Sie stündliche Abrechnung, vergleichen Sie die Cloud-Tarife im allgemeinen Bereich GPU-Server.

Wann sich ein dedizierter GPU-Server gegenüber einer Cloud-GPU lohnt

• Die Karte ist fast rund um die Uhr ausgelastet. Eine stündlich abgerechnete Cloud-GPU ist ideal, solange sie nur für einen Abend läuft. Beantwortet ein Dienst Anfragen ohne Pause, ist die monatliche Miete eines dedizierten GPU-Servers meist günstiger als dieselbe Last nach Stunden.
• Das Training läuft wochenlang. Ein langer Trainings- oder Fine-Tuning-Lauf verträgt keine Unterbrechungen. Auf der eigenen Maschine wird er nicht gestoppt, weil dem Anbieter Kapazität fehlt, und Checkpoints liegen auf der lokalen Platte statt in kostenpflichtigem externem Speicher.
• Die Daten dürfen die Maschine nicht verlassen. Medizinische Aufnahmen, Kundenkorrespondenz, interne Unterlagen: Auf einem dedizierten Server werden die Platten nicht mit anderen Kunden geteilt, und einem Prüfer lässt sich leichter zeigen, wo die Daten physisch liegen und wer Zugriff hat.
• Lizenzen sind an die Hardware gebunden. Manche professionelle Software für Rendering, CAD und Simulation wird pro Maschine oder pro physischer Karte lizenziert. Ein dauerhafter Server mit denselben GPUs erspart die Neuaktivierung nach jedem Neustart einer virtuellen Maschine.
• Sie brauchen mehrere Karten mit bekannter Topologie. Für verteiltes Training zählt, wie die Karten genau verbunden sind. In der Cloud bleibt die Verbindung oft verborgen, bei einem dedizierten Server können Sie vorher fragen und sie nach der Übergabe prüfen.

Brauchen Sie keine GPU-Berechnungen, sondern einfach eine starke physische Maschine für Datenbanken oder Virtualisierung, ist der allgemeine Katalog dedizierter Server die bessere Wahl: mehr Konfigurationen und niedrigere Preise.

Karte, Videospeicher und Verbindung zwischen den Karten

Zuerst lesen Sie in der Tarifzeile das Kartenmodell und die Speichergröße. Die Workstation-Karten RTX A4000 und A5000 sind für lange Last im Rack gebaut und laufen leiser, RTX 3090 und 4090 liefern viel Rechenleistung fürs Geld, A100 und H100 braucht man, wenn ein Modell nicht in 24 GB passt oder mit großen Batches trainiert wird. Ältere Tesla K80 und P40 tauchen in günstigen Konfigurationen auf: Sie haben viel Speicher, unterstützen aber keine aktuellen CUDA-Versionen und modernen Zahlenformate und eignen sich eher für Experimente als für den Produktivbetrieb. Achten Sie auch auf schwache Karten wie NVS oder kleine Quadro-Modelle: In Servern stecken sie oft nur für die Bildausgabe und sind für neuronale Netze kaum zu gebrauchen.

Ein „2ד oder „8ד im Namen ist die Zahl der Karten, nicht der Speicher einer Karte. Zwei Karten mit 24 GB sind nicht dasselbe wie eine mit 48 GB: Das Modell muss aufgeteilt werden, und die Geschwindigkeit des Austauschs zwischen den Karten wird entscheidend. Per NVLink-Brücke verbundene Karten tauschen Daten um ein Vielfaches schneller aus als über den PCIe-Bus, und in Multi-GPU-Plattformen der HGX-Klasse sind alle Beschleuniger direkt miteinander verbunden. Fragen Sie den Anbieter, wie viele PCIe-Lanes jede Karte erhält und ob alle an einem Prozessor hängen: Ist die Hälfte der Karten über den zweiten Sockel angebunden, läuft der Austausch zwischen ihnen langsamer.

Prozessor, Platten, Strom und Netzwerk

• CPU und Arbeitsspeicher. Der Prozessor bereitet Daten vor, dekodiert Bilder und tokenisiert Texte. Planen Sie mehrere physische Kerne pro Karte und mindestens so viel RAM wie gesamten Videospeicher ein, sonst warten die Beschleuniger auf Daten.
• NVMe für Datensätze. Ein großer Datensatz wird in jeder Epoche von der Platte gelesen. Lokales NVMe verkürzt das Training spürbar gegenüber SATA-Platten und Netzwerk-Volumes.
• Strom und Kühlung. Eine leistungsstarke Karte zieht Hunderte Watt, ein Server mit acht Beschleunigern so viel wie ein kleines Rack. Nicht jedes Rechenzentrum kann so viel Leistung für eine Einheit bereitstellen, deshalb gibt es Multi-GPU-Server nur in kleinen Stückzahlen, und in der Tabelle stehen sie oft als „nicht verfügbar“.
• Port und Traffic. Modellgewichte und Datensätze wiegen Hunderte Gigabyte. Ein Gigabit-Port ohne enges Traffic-Limit erspart das Warten beim ersten Download und beim regelmäßigen Hochladen von Checkpoints.
• Einrichtungsgebühr und Mindestlaufzeit. Bei GPU-Servern gibt es häufiger als sonst eine Einrichtungsgebühr und eine Mindestlaufzeit von einem Monat bis zu einem Jahr. Rechnen Sie die Kosten über den gesamten Zeitraum, nicht nur die Monatszeile.
• Bereitstellungszeit. Server aus dem Bestand werden innerhalb von Stunden übergeben; Konfigurationen mit knappen Karten werden auf Bestellung gebaut, und das Warten dauert Tage oder Wochen.

Was Sie vor der Zahlung prüfen sollten

1. Image mit Treiber. Fragen Sie, ob der Anbieter ein System mit NVIDIA-Treiber und CUDA installiert oder ein leeres Betriebssystem übergibt. Gleichen Sie die Treiberversion mit den Anforderungen Ihres Frameworks und Ihrer Container ab.
2. Fernkonsole. KVM oder IPMI erlaubt es, das System neu zu installieren und den Start nach einem missglückten Treiber-Update zu reparieren, ohne auf den Support zu warten. Beim GPU-Server ist das besonders wichtig: Ein Treiberfehler lässt die Maschine manchmal ohne Netzwerk zurück.
3. Austausch einer defekten Karte. Grafikkarten unter Dauerlast fallen häufiger aus als Platten. Klären Sie, wie schnell eine Karte getauscht wird, ob Ersatz vor Ort liegt und ob die Miete um die Ausfallzeit verlängert wird.
4. Standort der Daten. Prüfen Sie Land des Rechenzentrums und Speicherbedingungen, wenn der Server personenbezogene Daten oder Geschäftsgeheimnisse verarbeitet. Für Kunden in der EU entscheidet das, ob die DSGVO-Regeln für Übermittlungen außerhalb der Union greifen; der Standort beeinflusst auch, wie schnell Datensätze geladen werden.
5. Test nach der Übergabe. Lassen Sie in den ersten Stunden eine echte Aufgabe unter Volllast laufen und beobachten Sie Temperaturen und Taktraten der Karten: Überhitzung und Drosselung zeigen sich sofort, und eine Reklamation ist zu Beginn der Laufzeit einfacher.

Wenn Sie noch zwischen Serverklassen wählen, beginnen Sie mit dem Ratgeber zur Wahl eines VPS. Und für ein kleines lokales Modell ohne strenge Geschwindigkeitsanforderungen genügt manchmal ein gewöhnlicher Server ohne Grafikkarte aus der Auswahl VPS für Ollama.