Server mit NVIDIA A40: 48 GB für Inferenz, Rendering und virtuelle Arbeitsplätze
Die NVIDIA A40 ist eine Rechenzentrumskarte der Generation Ampere. Laut NVIDIA-Spezifikation hat sie 48 GB GDDR6 mit Fehlerkorrektur (ECC) und 696 GB/s Bandbreite, 10.752 CUDA-Kerne, passive Kühlung und eine Leistungsaufnahme von bis zu 300 W. Zwei Karten lassen sich per NVLink (112,5 GB/s) verbinden, im Paar ergeben sich dann 96 GB. Die Karte unterstützt NVIDIA vGPU, deshalb bieten Hoster sie sowohl ganz als auch in Anteilen an.
Wofür sie sich eignet
- Sprachmodelle, denen 24 GB zu wenig sind: 30–34 Mrd. Parameter in 8 Bit, 70 Mrd. in 4-Bit-Quantisierung mit kurzem Kontext.
- Rendering und 3D: RT-Kerne der zweiten Generation und viel Speicher für aufwendige Szenen.
- Virtuelle Workstations für CAD und Videoschnitt über vGPU-Profile.
Der Speicher der A40 ist langsamer als bei Gaming-Karten: Bei der Textgenerierung eines Sprachmodells ist die RTX 4090 mit ihren 1 TB/s schneller, sofern das Modell in 24 GB passt. Neuer und schneller in derselben 48-GB-Klasse ist die L40S.
Ganze Karte oder vGPU-Anteil
Die günstigsten Zeilen der Tabelle sind Anteile einer Karte mit 2, 4 oder 8 GB Grafikspeicher. Sie eignen sich für einen Remote-Arbeitsplatz und leichte Grafik, nicht aber für Sprachmodelle. Für Inferenz und Rendering brauchen Sie eine ganze Karte mit 48 GB, prüfen Sie also die Speichergröße im Tarif. MIG hat die A40 nicht: Sie lässt sich nur über vGPU aufteilen.
Was sie pro Monat und pro Stunde kostet
Laut Katalog vom 17. November 2026 liegt der Medianpreis eines Servers mit einer ganzen A40 bei etwa 1.050 $ im Monat, die Hälfte der Tarife kostet zwischen 600 und 1.100 $. Umgerechnet auf 730 Stunden sind das rund 1,44 $ pro Stunde. Es gibt sowohl Cloud-Tarife als auch dedizierte Server; stündliche Abrechnung bieten nur wenige Hoster an. Brauchen Sie die Karte nur für einige Stunden, vergleichen Sie die Stundentarife und lesen Sie, wie man den Stundenpreis berechnet. Wie viel Speicher ein Modell belegt, steht im Artikel Ein eigenes Sprachmodell auf dem Server.