GPU-Server mit NVIDIA A10

Die NVIDIA A10 ist eine Karte der Ampere-Generation mit 24 GB GDDR6-Speicher und 150 W Leistungsaufnahme. Sie belegt einen einzigen PCIe-4.0-Slot, deshalb verbauen Cloud-Plattformen sie dicht und teilen sie gern zwischen virtuellen Maschinen auf. Die A10 ist nicht für das Training großer Modelle gedacht, sondern für Inferenz, Grafik und Video: Sie hat Tensor-Kerne mit BF16- und TF32-Unterstützung, RT-Kerne für Raytracing und die Hardware-Codecs NVENC/NVDEC. In der Tabelle oben stehen nur Cloud-Tarife mit stündlicher Abrechnung, von einer Karte bis zu ×4-Konfigurationen; der Monatspreis liegt etwa zwischen 330 und 6.200 US-Dollar, der Median bei rund 1.600 Dollar.

Was in 24 GB passt

Als Faustregel gilt: In FP16 belegt ein Modell etwa 2 GB pro Milliarde Parameter, in 8-Bit-Quantisierung etwa 1 GB, in 4 Bit 0,5–0,6 GB. Dazu kommt Reserve für den KV-Cache, der mit der Kontextlänge und der Zahl gleichzeitiger Anfragen wächst.

• 7–8 Mrd. Parameter in FP16. Die Gewichte belegen 14–16 GB, es bleibt Platz für Kontext und mehrere parallele Anfragen. Das ist der Hauptgrund, eine A10 zu mieten: Chatbot, Klassifizierung von Anfragen, Datenextraktion aus Dokumenten.
• 13 Mrd. in 8 Bit. Etwa 13–14 GB für die Gewichte, die Qualität liegt nahe an voller Genauigkeit.
• Rund 30 Mrd. in 4 Bit. Passt, aber nur mit kurzem Kontext und ein bis zwei Nutzern: Für den KV-Cache bleibt wenig Speicher.
• Fine-Tuning. Volles Fine-Tuning passt selbst bei einem 7B-Modell nicht auf eine Karte, QLoRA für 7B läuft dagegen problemlos. Für Training von Grund auf ist die A10 nicht gedacht.
• Bilder, Grafik, Video. SDXL läuft mit Speicherreserve. Dank RT-Kernen eignet sich die A10 für entfernte Grafik-Workstations, CAD und Rendering mit gestreamtem Bild, NVENC/NVDEC für das Transkodieren von Video in mehrere Qualitätsstufen gleichzeitig.

Kartenanteil oder volle A10

Manche Cloud-Tarife geben nicht die ganze Karte, sondern einen Anteil über die vGPU-Software von NVIDIA: 1/6, 1/3 oder 1/2 mit dem passenden Teil des Speichers, also 4, 8 oder 12 GB. MIG hat die A10 nicht, deshalb teilen sich die Nachbarn die Recheneinheiten zeitlich, während der Speicher jeder virtuellen Maschine fest zugewiesen ist. Solche Anteile stehen sehr wahrscheinlich am Anfang der Tabelle. Man erkennt sie leicht:

• die Spalte Grafikspeicher zeigt weniger als 24 GB;
• der Tarif hat wenige vCPUs und wenig RAM, einige Kerne statt der Dutzenden bei einer vollen Karte;
• auf dem Server zeigt nvidia-smi die Karte mit Profil-Suffix, etwa A10-4Q statt nur A10.

Ein Anteil reicht für einen virtuellen Desktop mit 3D-Anwendungen, für leichte Inferenz (Embeddings, Spracherkennung, ein 7B-Modell in 4 Bit auf 8 GB) und für einen Probelauf, bevor man eine ganze Karte mietet. Die volle A10 braucht man, wenn das Modell mehr als 12 GB belegt, wenn die Antwortlatenz unabhängig von Nachbarn stabil bleiben muss oder wenn man Fine-Tuning betreibt.

Mehrere Karten, Treiber und CUDA

NVLink hat die A10 nicht: In ×2- und ×4-Tarifen tauschen die Karten Daten über PCIe 4.0 aus. Für Inferenz ist das vertretbar. vLLM und ähnliche Engines teilen ein Modell auf die Karten auf, sodass auf ×2 (48 GB) ein Modell mit etwa 30 Mrd. Parametern in 8 Bit passt und auf ×4 (96 GB) ein 70B-Modell in 4 Bit mit Reserve für Kontext. Oft lohnt sich ein anderer Modus mehr: auf jeder Karte eine eigene Kopie eines 7–8B-Modells starten und die Anfragen verteilen. Beim Training großer Modelle über mehrere Karten ohne NVLink fällt die A10 zurück.

Die Compute Capability der A10 ist 8.6. Die Architektur wird ab CUDA 11.1 unterstützt, für CUDA 12 und aktuelle PyTorch-Builds braucht man einen Treiber ab dem 525er-Zweig. Bei Kartenanteilen läuft in der virtuellen Maschine ein vGPU-Gasttreiber, der zum Treiberzweig des Hosts passen muss: Ein normaler Treiber von der NVIDIA-Website funktioniert dort unter Umständen nicht, also nehmen Sie das Image des Anbieters und aktualisieren den Treiber nicht selbst. Prüfen Sie direkt nach der Bereitstellung nvidia-smi: Kartenmodell und Profil, Speichergröße, Treiber- und CUDA-Version.

Stündliche Abrechnung und Vergleich mit L4 und A100

Alle A10-Tarife im Katalog werden stundenweise abgerechnet. Der Median-Tarif kostet umgerechnet etwa 2,20 Dollar pro Betriebsstunde, der günstigste Anteil rund 0,45 Dollar. Einen Server mit A10 stundenweise zu mieten lohnt sich, wenn man die Karte für einen Abend, einen Batch-Job oder eine Testwoche braucht: Server löschen, und die Abbuchung endet. Die Details erklärt der Beitrag zur stündlichen Abrechnung. Ist ein GPU-Server mit A10 monatelang rund um die Uhr ausgelastet, vergleichen Sie die Summe mit einer monatlich gemieteten physischen Maschine im Bereich dedizierte GPU-Server. Verarbeiten Sie personenbezogene Daten aus der EU, prüfen Sie wegen der DSGVO das Land des Rechenzentrums und wählen Sie einen Standort nahe Ihren Nutzern für niedrige Latenz.

Die nächste Alternative ist die NVIDIA L4: ebenfalls 24 GB, Ada-Generation, etwa 72 W und FP8-Unterstützung. Die A10 hat die doppelte Speicherbandbreite (600 GB/s gegenüber 300), deshalb ist sie bei der Textgenerierung, wo der Speicher die Geschwindigkeit begrenzt, meist schneller, die L4 dafür sparsamer. Die A100 mit 40 oder 80 GB schnellem Speicher, NVLink und MIG braucht man, wenn ein Modell nicht in 24 GB passt oder vollwertiges Training läuft; sie kostet deutlich mehr.