GPU-Server: welche Karte für welche Aufgabe
Eine Server-GPU wählt man zuerst nach dem Grafikspeicher und erst dann nach der Geschwindigkeit. Passt das Modell oder die Szene nicht in den Speicher der Karte, taugt der Server nichts, egal wie schnell er rechnet. Hier lesen Sie, welche Aufgaben auf welchen Karten laufen, wie sich Server- von Gaming-Karten unterscheiden und was ein Monat mit jeder Karte laut accsly-Katalog kostet.
Die kurze Antwort. Für kleine Modelle, Spracherkennung und Videoverarbeitung reicht eine Karte mit 16–24 GB: T4, L4, RTX 4090. Sprachmodelle mit mehreren Dutzend Milliarden Parametern brauchen 48–96 GB: L40S oder RTX PRO 6000. Große Modelle werden auf A100 und H100 trainiert, meist mit mehreren Karten in einem Server.
Drei Zahlen, die entscheiden
- Grafikspeicher (VRAM). Er enthält die Gewichte des neuronalen Netzes, die Daten und Zwischenergebnisse. Reicht er nicht, bricht die Aufgabe mit einem Fehler ab oder ein Teil des Modells wandert in den normalen Arbeitsspeicher und läuft um ein Vielfaches langsamer. Wie viel Speicher ein Sprachmodell braucht, steht im eigenen Artikel eigenes Sprachmodell auf dem Server.
- Speicherbandbreite. Wie viele Gigabyte pro Sekunde die Karte aus ihrem Speicher liest. Für Sprachmodelle ist das die wichtigste Geschwindigkeitszahl: Beim Erzeugen einer Antwort muss für jedes neue Wort das ganze Modell gelesen werden. NVIDIA schreibt ausdrücklich, dass diese Phase durch die Speichergeschwindigkeit begrenzt ist, nicht durch die Rechenleistung.
- Verbindung zwischen Karten. Passt ein Modell nicht in eine Karte, wird es auf mehrere verteilt. Karten mit NVLink tauschen Daten schneller aus als über den PCIe-Bus. Bei der H100 SXM sind es 900 GB/s, die L40S hat gar kein NVLink.
Die am häufigsten vermieteten Karten
Ich habe die GPU-Tarife aus dem accsly-Katalog vom 13. November 2026 genommen und nur die mit einer ganzen Karte im Server behalten. Der Preis ist der Marktmedian pro Monat, in Klammern der Bereich, in dem die mittlere Hälfte der Tarife liegt. Der Katalog führt Preise in Rubel, die Euro-Beträge sind umgerechnet und gerundet. Die technischen Daten stammen von den Kartenseiten bei NVIDIA.
| Karte | Speicher | Bandbreite | Preis pro Monat | Tarife / Anbieter |
|---|---|---|---|---|
| RTX A4000 | 16 GB | 448 GB/s | 336 € (271–462) | 11 / 8 |
| RTX 3090 | 24 GB | 936 GB/s | 379 € (350–451) | 12 / 7 |
| L4 | 24 GB | 300 GB/s | 478 € (403–767) | 20 / 10 |
| T4 | 16 GB | 320 GB/s | 493 € (359–742) | 29 / 9 |
| RTX 4090 | 24 GB | 1.008 GB/s | 502 € (432–583) | 15 / 9 |
| RTX 5090 | 32 GB | 1.792 GB/s | 628 € (581–740) | 11 / 7 |
| L40S | 48 GB | 864 GB/s | 835 € (610–1.052) | 11 / 9 |
| A100 | 40 oder 80 GB | 1.935–2.039 GB/s | 988 € (958–1.100) | 9 / 8 |
| RTX PRO 6000 | 96 GB | 1.597 GB/s | 1.347 € (1.022–2.289) | 29 / 11 |
| H100 | 80 GB | 3.350 GB/s (SXM) | 2.157 € (1.814–2.673) | 11 / 10 |
Zwei Dinge fallen auf. Die alte T4 kostet fast so viel wie die L4, obwohl die L4 neuer ist und mehr Speicher hat. Und die Gaming-Karten RTX 3090 und 4090 sind günstiger als Serverkarten mit gleich viel Speicher, ihr Speicher ist dabei dreimal so schnell wie der der L4.
Welche Karte für welche Aufgabe
Spracherkennung, kleine Modelle, Video
Spracherkennungsmodelle, Klassifikatoren, semantische Suche und komprimierte Sprachmodelle mit 7–8 Milliarden Parametern belegen wenige Gigabyte. Ihnen reichen 16–24 GB. Die L4 verbraucht 72 W und belegt einen flachen Steckplatz, deshalb bauen Anbieter mehrere in einen Server. Die T4 gehört zur selben Klasse: 16 GB und 70 W, aber eine Generation älter. Beide kodieren Video in Hardware. Auswahl: Server mit L4, Server mit T4.
Bildgenerierung und Sprachmodelle bis 30 Milliarden Parameter
Hier zählen Speicher und Geschwindigkeit. RTX 4090 und 3090 bieten 24 GB und rund ein Terabyte pro Sekunde, die RTX 5090 32 GB und 1,8 TB/s. Für einen Nutzer oder ein kleines Team ist das der günstigste Weg zu einer schnellen Karte. Die Grenzen von Gaming-Karten: RTX 4090 und 5090 haben kein NVLink für den Paarbetrieb, und keine Gaming-Karte lässt sich in isolierte Teile aufteilen. Im Katalog sind 12 von 15 Tarifen mit RTX 4090 dedizierte Server, die ganze Maschine gehört also Ihnen.
Sprachmodelle mit 70 Milliarden Parametern, Rendering
Ein Modell mit 70 Milliarden Parametern wiegt in 4-Bit-Kompression rund 35 GB, mehr als jede Gaming-Karte fasst. Nötig ist eine Karte ab 48 GB. Die L40S bietet 48 GB mit Fehlerkorrektur (ECC), NVIDIA positioniert sie für Inferenz, Bildgenerierung und Rendering. Die RTX PRO 6000 Blackwell hat 96 GB und 1,6 TB/s, darauf passt ein 70-Milliarden-Modell im 8-Bit-Format. Auswahl: Server mit L40S, Server mit RTX PRO 6000.
Training und große Modelle
Training braucht ein Vielfaches des Speichers, den ein fertiges Modell im Betrieb benötigt, und läuft fast immer auf mehreren Karten gleichzeitig. Dafür gibt es die A100 (40 oder 80 GB, bis 2 TB/s) und die H100 (80 GB, 3,35 TB/s in der SXM-Version) mit NVLink. Die H100 kostet doppelt so viel wie die A100, ihr Speicher ist aber anderthalbmal so schnell. Auswahl: Server mit A100, Server mit H100.
Entfernte Arbeitsplätze und Grafik
Für virtuelle Desktops, CAD und 3D-Programme eignen sich die Profikarten RTX A4000, RTX 4000 Ada und A16. Die A16 trägt vier GPUs mit je 16 GB auf einer Platine und ist für viele Nutzer mit geringer Grafiklast gedacht.
Ganze Karte oder ein Teil davon
Serverkarten lassen sich zwischen Kunden aufteilen. Die A100 teilt sich in sieben isolierte Teile, die RTX PRO 6000 in vier. Ein Anbieter kann einen solchen Teil als „Server mit A100“ verkaufen, obwohl Sie 10 GB Speicher bekommen und nicht 80. Im Katalog gibt es solche Tarife bei A16, A40 und L4: mit 2, 4 oder 8 GB Grafikspeicher. Prüfen Sie vor der Bestellung den Grafikspeicher in der Tarifbeschreibung. Er muss dem vollen Speicher der Karte entsprechen, wenn Sie die ganze Karte brauchen.
Cloud, VPS oder dedizierter Server
Im Katalog ist die Hälfte der GPU-Tarife dedizierte Server, die andere Hälfte Cloud und VPS. Einen Cloud-Server kann man für ein paar Stunden anlegen und wieder löschen, das passt zu Experimenten und einmaligen Aufgaben. Wie Sie ausrechnen, was günstiger ist, steht im Artikel GPU-Miete mit stundengenauer Abrechnung. Ein dedizierter Server ist günstiger, wenn die Karte rund um die Uhr ausgelastet ist: Die ganze Maschine gehört Ihnen, und keine Nachbarn teilen sich Prozessor oder Festplatte mit Ihnen. Auswahl: dedizierte Server mit GPU.
Brauchen Sie die Karte nur für ein kleines Modell und ist die Antwortzeit nicht kritisch, kommen Sie ohne aus. Modelle mit 7–8 Milliarden Parametern laufen auch auf dem Prozessor, wenn genug Arbeitsspeicher da ist. Auswahl: VPS für neuronale Netze auf der CPU.
Was Sie vor der Bestellung prüfen sollten
- Grafikspeicher – ganze Karte oder ein Teil davon.
- Arbeitsspeicher und Festplatte. Das Modell wird zuerst auf die Festplatte geladen und in den Arbeitsspeicher gelesen. Der Median bei Tarifen mit einer Karte liegt bei 64 GB RAM. Für große Modelle nehmen Sie NVMe ab 200 GB.
- Treiber- und CUDA-Version. Klären Sie, ob der Anbieter den Treiber selbst installiert und in welcher Version. Aktuelle Frameworks brauchen eine aktuelle CUDA.
- Anzahl der Karten und ihre Verbindung, wenn das Modell nicht in eine passt.
- Einmalige Gebühren. 24 Tarife im Katalog, fast alle dedizierte Server, verlangen eine Einrichtungsgebühr.