Alle Produkte 
NVIDIA A16 mieten: vier GPUs auf einer Karte und was davon bei Ihrer Maschine ankommt
Die NVIDIA A16 ist anders aufgebaut als die meisten Serverkarten. Auf einer PCIe-Karte sitzen vier getrennte GPUs der Ampere-Generation, jede mit eigenem 16 GB GDDR6-Speicher, zusammen 64 GB pro Karte bei rund 250 W. Entworfen wurde sie für virtuelle Desktops und Video: Eine Karte wird zwischen vielen Nutzern aufgeteilt, und ihre Hardware-Codecs reichen für Dutzende Videostreams. Die Rechenleistung jeder der vier GPUs ist dagegen bescheiden und liegt deutlich unter einer A10 oder L4. Einen Server mit A16 zu mieten lohnt sich deshalb dort, wo die Zahl der Nutzer und Streams zählt, nicht das Tempo eines einzelnen großen Modells.
Was „A16“ im Tarif bedeutet
Die wichtigste Falle: „A16“ im Tarifnamen meint fast nie die ganze Karte mit 64 GB. Meist bekommt eine virtuelle Maschine eine der vier GPUs mit ihren 16 GB oder einen vGPU-Anteil einer GPU mit einem Teil ihres Speichers. Deshalb beginnt der Grafikspeicher im Katalog bei 2 GB: Das sind kleine vGPU-Profile für einen Desktop, nicht für neuronale Netze.
- vGPU-Anteil (2 bis 8 GB). Ein Teil einer GPU; die Recheneinheiten werden zeitlich mit Nachbarn geteilt. Passt für Remote-Desktops, das Betrachten von Zeichnungen und leichte Grafik.
- Eine ganze GPU (16 GB). Das Maximum, das ein einzelnes Modell oder eine Anwendung auf der A16 bekommen kann. Die Variante für Inferenz kleiner Modelle und Video-Encoding.
- Mehrere GPUs (32, 64 oder 128 GB). Zwei, vier oder acht getrennte Prozessoren, also bis zu zwei Karten. Einen gemeinsamen Speicherpool gibt es nicht: Die A16 hat kein NVLink und keine MIG-Partitionierung. Ein Modell lässt sich über PCIe auf mehrere GPUs verteilen, aber langsam. Solche Tarife lohnen sich, wenn mehrere unabhängige Instanzen eines Dienstes laufen oder viele Arbeitsplätze versorgt werden sollen.
KI-Workloads: was in 16 GB einer GPU passt
Faustregel für den Speicher: in FP16 etwa 2 GB pro Milliarde Parameter, in 8 Bit etwa 1 GB, in 4 Bit 0,5–0,6 GB, dazu der Kontext-Cache (KV-Cache), der mit der Länge des Dialogs wächst. Für eine A16-GPU heißt das:
- Modelle mit 3–4 Mrd. Parametern laufen in FP16 mit Reserve für langen Kontext;
- Modelle mit 7–8 Mrd. laufen bequem in 8 oder 4 Bit; in FP16 belegen die Gewichte fast den ganzen Speicher, für Kontext bleibt kein Platz;
- Modelle mit 13–14 Mrd. passen nur in 4 Bit und mit kurzem Kontext;
- Texterkennung (OCR), Embeddings für die Dokumentensuche, Klassifikatoren und kleine Spracherkennungsmodelle sind eine angenehme Last;
- Bildgenerierung mit Stable Diffusion funktioniert, aber merklich langsamer als auf Karten der RTX-Klasse.
Die Speicherbandbreite pro GPU ist gering, daher entstehen Tokens selbst bei einem kleinen Modell gemächlich. Training auf der A16 ist wenig sinnvoll: QLoRA für ein 7B-Modell passt technisch in 16 GB, dauert aber ein Vielfaches länger als auf einer A100. Für einen Chatbot mit schnellen Antworten oder ein Modell über 14 Mrd. Parameter wählen Sie eine Karte mit mehr Speicher und Rechenleistung.
Virtuelle Desktops, CAD und Video
Die Stärke der A16 ist VDI. Über NVIDIA vGPU versorgt eine Karte viele Remote-Arbeitsplätze: Büroanwendungen mit hardwarebeschleunigter Grafik, CAD-Viewer und Zeichnungen, leichtes 3D. Ein GPU-Server mit A16 passt zu einem Team, das Remote-Workstations braucht, wenn ein leistungsstarker Rechner für jeden zu teuer ist. Für aufwendiges Rendering und komplexe Szenen reicht eine kleine GPU nicht.
Für Video zählt, dass jede der vier GPUs eigene NVENC-Encoder und NVDEC-Decoder hat. Ein Server mit mehreren GPUs transkodiert viele Streams gleichzeitig nach H.264 und HEVC und belastet die CPU dabei kaum. AV1-Decoding wird unterstützt, Hardware-Encoding in AV1 hat die Ampere-Generation nicht.
Treiber, vGPU-Lizenz, Abrechnung und Preise
- CUDA. Die A16 hat Compute Capability 8.6: Nötig sind CUDA 11.1 oder neuer und ein passender Treiber. Aktuelle PyTorch-Builds und Container mit CUDA 12 laufen; BF16 und TF32 werden unterstützt, FP8 nicht.
- Treiber in der vGPU. Eine Maschine mit vGPU nutzt einen Gasttreiber, dessen Version zum Treiber auf dem Host des Anbieters passen muss. Der normale Treiber von der NVIDIA-Website funktioniert dort unter Umständen nicht; fragen Sie, welches Image oder Paket vorgesehen ist.
- vGPU-Lizenz. Die NVIDIA-vGPU-Software wird separat lizenziert. Der Anbieter kann die Lizenz im Preis enthalten oder auch nicht: Klären Sie das vor der Zahlung und fragen Sie, ob CUDA-Berechnungen in Ihrem Profil erlaubt sind, denn das hängt vom Lizenztyp ab.
- Stündlich oder monatlich. Nur ein kleiner Teil der A16-Tarife im Katalog wird stundenweise abgerechnet, der Rest monatlich. Desktops und Transcoding laufen meist rund um die Uhr, dafür ist ein Monatstarif günstiger. Stundenweise eignet sich für einen Test: eigenes Modell oder eigene Videopipeline laufen lassen, die Ausgabe von nvidia-smi prüfen und dann entscheiden. Mehr dazu in der Auswahl VPS mit Stundenabrechnung.
Alle A16-Tarife im Katalog sind Cloud- oder VPS-Tarife. Die Preise reichen von etwa 85 $ bis 5.500 $ im Monat, die Mitte liegt bei rund 690 $. Unten stehen vGPU-Anteile mit ein paar vCPUs, oben Server mit mehreren GPUs, Dutzenden vCPUs und Hunderten Gigabyte RAM. Wenn Desktops oder Daten EU-Nutzern gehören, prüfen Sie das Land des Rechenzentrums wegen der DSGVO und wegen der Latenz zu Ihrem Team. Vergleichen Sie nicht nur den Endpreis, sondern auch, wie viel Grafikspeicher und wie viele ganze GPUs Sie dafür bekommen.