Alle Produkte 
KI-Modelle auf einem VPS ohne Grafikkarte: Was wirklich läuft
Eine Grafikkarte in der Cloud ist teuer, doch für viele Aufgaben brauchen Sie keine. Sprachmodelle mit 3–8 Milliarden Parametern laufen in komprimierter Form auf einem gewöhnlichen Prozessor: Sie antworten langsamer als ChatGPT, dafür verlassen die Daten Ihren Server nicht, und Sie zahlen einen festen Betrag ohne Limits für Anfragen. Das ist eine gute Wahl für interne Bots, Dokumentenverarbeitung, Klassifizierung und Experimente.
Der Arbeitsspeicher bestimmt, welches Modell passt
Das Modell wird vollständig in den Arbeitsspeicher geladen. Mit 4-Bit-Quantisierung (Q4) belegt eine Milliarde Parameter etwa 0,6–0,7 GB, dazu kommt Reserve für Kontext und System:
- 8 GB RAM – Modelle bis 3–4 Mrd. Parameter: Llama 3.2 3B, Phi, Qwen 2.5 3B;
- 16 GB RAM – Modelle mit 7–8 Mrd.: Llama 3.1 8B, Qwen 2.5 7B, Mistral 7B – die beliebteste Klasse;
- 32 GB und mehr – Modelle mit 13–14 Mrd. oder mehrere Modelle gleichzeitig.
Deshalb beginnt diese Auswahl bei 16 GB Arbeitsspeicher und 8 Kernen – das Minimum für komfortables Arbeiten mit Modellen mit 7–8 Mrd. Parametern.
Die Geschwindigkeit hängt von Kernen und Speicher ab
Die Textgenerierung auf dem Prozessor wird durch die Speicherbandbreite und die Zahl der Kerne begrenzt. Auf 8 modernen Kernen liefert ein 7B-Modell etwa 5–10 Token pro Sekunde – genug für einen Chatbot mit ein bis zwei gleichzeitigen Nutzern. Achten Sie auf Taktfrequenz und Prozessorgeneration: Hochfrequenz-Tarife mit aktuellen AMD EPYC und Ryzen sind deutlich schneller als alte Xeons. Werden die Befehlssätze AVX2 und AVX-512 unterstützt, nutzt llama.cpp sie automatisch.
Welche Software?
- Ollama – der einfachste Weg: ein Befehl zur Installation, Modelle werden per Name heruntergeladen, und es gibt eine OpenAI-kompatible HTTP-API.
- llama.cpp – die Engine, auf der die meisten Lösungen aufbauen; bietet maximale Kontrolle über Parameter und Geschwindigkeit.
- Open WebUI – eine Weboberfläche im Stil von ChatGPT auf Basis von Ollama, praktisch für Teams.
- Whisper.cpp – Spracherkennung auf dem Prozessor, läuft schon mit 4 GB.
Wenn Sie die Modelle nur als Teil einer Automatisierung brauchen, lassen sie sich gut mit n8n oder einem Bot verbinden. Reichen Ihnen Cloud-Modelle über eine API, genügt ein gewöhnlicher kleiner Server – siehe VPS für Docker.
Festplatte und Grenzen
Ein Modell wiegt jeweils 2 bis 10 GB, nehmen Sie daher NVMe ab 50 GB, um mehrere Modelle vorzuhalten und schnell zu laden. Denken Sie an die Grenzen: Bildgenerierung (Stable Diffusion) dauert auf dem Prozessor Minuten pro Bild, und das Training von Modellen ist ohne Grafikkarte praktisch unmöglich – dafür brauchen Sie einen GPU-Server. Öffnen Sie die Ollama-API nicht ohne Authentifizierung zum Internet: Schließen Sie Port 11434 per Firewall und richten Sie den Zugriff über einen Reverse Proxy mit Passwort ein.