Eigenes Sprachmodell auf dem Server: wie viel Speicher und GPU nötig sind
Ein Modell mit 8 Milliarden Parametern belegt in 4-Bit-Kompression rund 4 GB und passt auf jede Serverkarte, langsam läuft es sogar auf dem Prozessor. Ein Modell mit 70 Milliarden Parametern braucht bei derselben Kompression 35 GB für die Gewichte und dazu Speicher für den Kontext, also eine Karte mit 48 GB. Hier lesen Sie, wie Sie den Speicher für Ihr Modell berechnen, welche Karte zu welcher Größe passt und was das kostet.
Die Speicherformel
Der Grafikspeicher für ein Sprachmodell setzt sich aus drei Teilen zusammen.
Speicher = Gewichte + Kontext-Cache + Verwaltungsspeicher
Gewichte sind die Zahl der Parameter mal die Größe eines Parameters. Im 16-Bit-Format (FP16 oder BF16) belegt ein Parameter 2 Byte, in 8 Bit 1 Byte, in 4 Bit ein halbes Byte. NVIDIA nennt ein Beispiel: Ein Modell mit 7 Milliarden Parametern belegt in 16 Bit rund 14 GB. Für die Llama-3.1-Modelle veröffentlicht Hugging Face eine fertige Tabelle:
| Modell | 16 Bit | 8 Bit | 4 Bit |
|---|---|---|---|
| 8 Milliarden Parameter | 16 GB | 8 GB | 4 GB |
| 70 Milliarden | 140 GB | 70 GB | 35 GB |
| 405 Milliarden | 810 GB | 405 GB | 203 GB |
Die Kompression auf 8 und 4 Bit (Quantisierung) senkt die Antwortqualität etwas, verringert den Speicher aber um ein Vielfaches. Prüfen Sie es an Ihren eigenen Aufgaben: Schicken Sie dieselben Fragen durch die komprimierte und die volle Version.
Der Kontext-Cache
Während das Modell die Anfrage liest und die Antwort schreibt, hält es Zwischendaten zu jedem Wort (genauer: zu jedem Token) vor – den Key-Value-Cache. Er wächst mit der Kontextlänge und mit der Zahl der Anfragen, die der Server gleichzeitig bearbeitet. Nach NVIDIAs Rechnung braucht ein 7-Milliarden-Modell für 4.096 Tokens rund 2 GB Cache. Bei Llama 3.1 belegt der Cache für 128.000 Tokens 15,6 GB beim 8-Milliarden-Modell und 39 GB beim 70-Milliarden-Modell – mehr als die 4-Bit-Gewichte selbst.
Daraus folgt: Langer Kontext und viele gleichzeitige Nutzer brauchen so viel Speicher wie das Modell selbst oder mehr. Ollama nutzt ohne weitere Einstellung einen Kontext von 4.096 Tokens, und der Cache lässt sich mit OLLAMA_KV_CACHE_TYPE=q8_0 auf 8 Bit komprimieren, was seinen Speicher halbiert. Der vLLM-Server reserviert vorab fast den gesamten Grafikspeicher für Gewichte und Cache; den Anteil legt der Parameter --gpu-memory-utilization fest.
Verwaltungsspeicher sind die CUDA-Bibliotheken und Arbeitspuffer. Hugging Face weist eigens darauf hin, dass er in der Tabelle fehlt. Wählen Sie keine Karte auf Kante: Lassen Sie ein paar Gigabyte frei.
Welche Karte für welches Modell
Preise sind der Marktmedian pro Monat im accsly-Katalog vom 13. November 2026, Tarife mit einer ganzen Karte, sofern nicht anders angegeben. Der Katalog führt Rubel, die Euro-Beträge sind umgerechnet und gerundet.
- 8 Milliarden Parameter in 4 oder 8 Bit (4–8 GB Gewichte). Jede Karte mit 16–24 GB genügt, Platz für langen Kontext bleibt. RTX 3090 379 €, L4 478 €, RTX 4090 502 € im Monat.
- 8 Milliarden in 16 Bit (16 GB Gewichte). Sie brauchen eine Karte mit 24 GB, in eine T4 mit 16 GB passt das Modell nicht mehr.
- 70 Milliarden in 4 Bit (35 GB). Eine Karte mit 48 GB: L40S, 835 €. Den Kontext müssen Sie auf einige Zehntausend Tokens begrenzen.
- 70 Milliarden in 8 Bit (70 GB). Eine Karte mit 80–96 GB: A100 mit 80 GB rund 1.060 € (6 Tarife), RTX PRO 6000 1.347 €, H100 2.157 €. Die RTX PRO 6000 mit 96 GB lässt mehr Platz für den Cache.
- 70 Milliarden in 16 Bit (140 GB). Zwei Karten mit je 80 GB oder mehr. Der Katalog hat 29 Tarife von 13 Anbietern mit 160 GB Grafikspeicher oder mehr, ein Viertel davon kostet weniger als 2.449 € im Monat.
- 405 Milliarden in 4 Bit (203 GB). Vier Karten mit je 80 GB oder mehr. Solche Tarife gibt es im Katalog sechs, bei sechs Anbietern, ab 3.476 € im Monat.
Wird ein Modell auf mehrere Karten verteilt, muss die Serversoftware das können: In vLLM legt --tensor-parallel-size die Zahl der Karten fest. Karten mit NVLink (A100, H100) tauschen Daten schneller aus als über PCIe. Mehr zu den Karten im Artikel welche Grafikkarte für welche Aufgabe.
Wie schnell es antwortet
Beim Erzeugen einer Antwort muss für jedes neue Wort das ganze Modell aus dem Speicher gelesen werden, die Geschwindigkeit hängt also an der Speicherbandbreite, nicht an der Rechenleistung. Daraus ergibt sich eine einfache Obergrenze für eine einzelne Anfrage: Bandbreite geteilt durch die Größe der Gewichte. Die tatsächliche Geschwindigkeit ist niedriger, die Größenordnung stimmt aber.
- 8 Milliarden in 4 Bit (rund 4 GB) auf einer L4 mit 300 GB/s: höchstens 75 Tokens pro Sekunde, auf einer RTX 4090 mit 1.008 GB/s bis zu 250.
- 70 Milliarden in 4 Bit (35 GB) auf einer L40S mit 864 GB/s: bis zu 25 Tokens pro Sekunde, auf einer H100 mit 3.350 GB/s bis zu 95.
Für einen Chat mit einem Nutzer reicht sogar eine L4. Nutzt ein Team das Modell oder verarbeitet es Dokumente stapelweise, macht sich schneller Speicher bezahlt.
Wann die CPU reicht
Ollama und llama.cpp führen ein Modell ohne Grafikkarte aus, im normalen Arbeitsspeicher des Servers. Ein Modell mit 7–8 Milliarden Parametern in 4 Bit belegt rund 4–5 GB und läuft auf einem VPS mit 16 GB RAM – langsam, aber für einen Bot, das Sortieren von E-Mails oder nächtliche Verarbeitung genügt es. Ein VPS mit 16 GB RAM kostet im Marktmedian 68 € im Monat, ein Fünftel der günstigsten Karte. Gibt es eine GPU, deren Speicher aber nicht reicht, teilt Ollama das Modell zwischen Karte und Prozessor auf; prüfen können Sie das mit ollama ps, die Spalte Processor zeigt, wie viel Prozent des Modells auf der GPU liegen. Auswahl: VPS für neuronale Netze auf der CPU.
Wie viel Speicher Feinabstimmung braucht
Training braucht ein Vielfaches des Speichers für den Betrieb. Volles Training in gemischter Genauigkeit mit dem Optimierer Adam belegt pro Parameter 6 Byte Gewichte, 8 Byte Optimiererzustand und 4 Byte Gradienten, dazu Zwischendaten. Deshalb stimmt man meist nicht das ganze Modell ab, sondern kleine Zusatzschichten – die Verfahren LoRA und QLoRA. Die Schätzung von Hugging Face für Llama 3.1:
- 8 Milliarden Parameter: volles Feintuning 60 GB, LoRA 16 GB, QLoRA 6 GB;
- 70 Milliarden: voll 500 GB, LoRA 160 GB, QLoRA 48 GB.
Das deckt sich mit der Arbeit der QLoRA-Autoren: Ein Modell mit 65 Milliarden Parametern wird auf einer einzigen Karte mit 48 GB feinabgestimmt. Eine L40S schafft also die Feinabstimmung eines 70-Milliarden-Modells, für ein 8-Milliarden-Modell reicht eine RTX 4090. Training dauert Stunden bis Tage und lohnt sich auf Stundenmiete; wie Sie die Kosten berechnen, steht im Artikel GPU-Miete mit stundengenauer Abrechnung.
Arbeitsspeicher und Festplatte
Die Gewichte liegen zuerst auf der Festplatte und werden beim Start über den Arbeitsspeicher gelesen. Ein 70-Milliarden-Modell in 16 Bit sind 140 GB an Dateien, und oft braucht man mehrere Versionen zum Vergleich. Nehmen Sie NVMe mit Reserve. Tarife mit einer Karte haben meist viel RAM: Der Median liegt bei 64 GB mit L4 oder T4, 128 GB mit RTX 4090 und 240 GB mit H100. Ist die Last dauerhaft und das Modell groß, schauen Sie sich dedizierte Server mit GPU an: Die ganze Maschine gehört Ihnen, und die Festplatte teilen Sie mit niemandem.