Tüm ürünler 
Ekran kartı olmadan VPS'te yapay zekâ: gerçekte ne çalıştırılabilir
Buluttaki ekran kartı pahalıdır, ancak pek çok iş için gerekmez. 3–8 milyar parametreli dil modelleri sıkıştırılmış hâlde sıradan bir işlemcide çalışır: ChatGPT'den daha yavaş yanıt verirler, ama veriler sunucunuzdan çıkmaz ve istek sınırı olmadan sabit bir ücret ödersiniz. Dahili botlar, belge işleme, sınıflandırma ve deneyler için iyi bir seçenektir.
Hangi modelin sığacağını bellek belirler
Model tamamen RAM'e yüklenir. 4 bit kuantizasyonlu (Q4) formatta bir milyar parametre yaklaşık 0,6–0,7 GB yer kaplar; buna bağlam ve sistem için pay eklenir:
- 8 GB RAM — 3–4 milyar parametreye kadar modeller: Llama 3.2 3B, Phi, Qwen 2.5 3B;
- 16 GB RAM — 7–8 milyarlık modeller: Llama 3.1 8B, Qwen 2.5 7B, Mistral 7B — en popüler sınıf;
- 32 GB ve üzeri — 13–14 milyarlık modeller veya aynı anda birkaç model.
Bu yüzden seçki 16 GB bellek ve 8 çekirdekle başlıyor — 7–8 milyar parametreli modellerle rahat çalışmanın alt sınırı budur.
Hız çekirdeklere ve belleğe bağlı
İşlemcide metin üretimi bellek hızı ve çekirdek sayısıyla sınırlıdır. 8 modern çekirdekte 7B bir model saniyede yaklaşık 5–10 token üretir — aynı anda bir-iki kullanıcılı bir sohbet botu için yeterli. İşlemcinin frekansına ve nesline bakın: yeni AMD EPYC ve Ryzen üzerindeki yüksek frekanslı paketler eski Xeon'lardan belirgin şekilde hızlıdır. AVX2 ve AVX-512 komutları destekleniyorsa llama.cpp bunları otomatik kullanır.
Ne kurmalı
- Ollama — en basit yol: kurulum için tek komut, modeller adıyla indirilir, OpenAI uyumlu bir HTTP API'si vardır.
- llama.cpp — çoğu çözümün üzerinde çalıştığı motor; parametreler ve hız üzerinde en fazla kontrolü verir.
- Open WebUI — Ollama üzerinde ChatGPT tarzı bir web arayüzü, ekip için kullanışlı.
- Whisper.cpp — işlemcide konuşma tanıma, 4 GB'ta bile çalışır.
Modeller yalnızca bir otomasyonun parçası olarak gerekiyorsa onları n8n veya bir botla bağlamak kolaydır. Bulut modelleri yetiyorsa API erişimli sıradan bir sunucu yeterlidir — bkz. Python için VPS.
Disk ve sınırlamalar
Modellerin her biri 2 ila 10 GB tutar; birkaç modeli tutmak ve hızlı yüklemek için en az 50 GB NVMe alın. Sınırları unutmayın: işlemcide görsel üretimi (Stable Diffusion) resim başına dakikalar sürer, ekran kartı olmadan model eğitmek ise pratikte imkânsızdır — bunun için GPU sunucusu gerekir. Ollama API'sini yetkilendirme olmadan internete açmayın: 11434 portunu güvenlik duvarıyla kapatın ve erişimi parolalı bir ters proxy üzerinden verin.