Sunucuda kendi dil modeliniz: ne kadar bellek ve GPU gerekir
8 milyar parametreli bir model 4 bite sıkıştırıldığında yaklaşık 4 GB tutar ve her sunucu kartına sığar; yavaş da olsa işlemcide bile çalışır. Aynı sıkıştırmayla 70 milyarlık bir model ağırlıklar için 35 GB ve üstüne bağlam için bellek ister, yani 48 GB'lık bir kart. Aşağıda modeliniz için belleği nasıl hesaplayacağınızı, hangi boyuta hangi kartın uyduğunu ve bunun maliyetini bulacaksınız.
Bellek formülü
Bir dil modelinin ihtiyaç duyduğu video belleği üç parçadan oluşur.
bellek = ağırlıklar + bağlam önbelleği + yardımcı bellek
Ağırlıklar, parametre sayısının bir parametrenin boyutuyla çarpımıdır. 16 bit formatta (FP16 veya BF16) bir parametre 2 bayt, 8 bitte 1 bayt, 4 bitte yarım bayt kaplar. NVIDIA bir örnek veriyor: 7 milyar parametreli bir model 16 bitte yaklaşık 14 GB tutar. Llama 3.1 modelleri için Hugging Face hazır bir tablo yayımlıyor:
| Model | 16 bit | 8 bit | 4 bit |
|---|---|---|---|
| 8 milyar parametre | 16 GB | 8 GB | 4 GB |
| 70 milyar | 140 GB | 70 GB | 35 GB |
| 405 milyar | 810 GB | 405 GB | 203 GB |
8 ve 4 bite sıkıştırma (kuantalama) yanıt kalitesini biraz düşürür ama belleği kat kat azaltır. Kendi işlerinizde deneyin: aynı soruları sıkıştırılmış ve tam sürümden geçirin.
Bağlam önbelleği
Model isteği okuyup yanıtı yazarken her kelime (daha doğrusu her token) için ara veriler tutar: anahtar-değer önbelleği. Bağlam uzunluğu ve sunucunun aynı anda işlediği istek sayısıyla büyür. NVIDIA'nın hesabına göre 7 milyarlık bir modelin 4.096 token için yaklaşık 2 GB önbelleğe ihtiyacı var. Llama 3.1'de 128 bin tokende önbellek 8 milyarlık modelde 15,6 GB, 70 milyarlık modelde 39 GB tutar; bu, 4 bitlik ağırlıkların kendisinden fazladır.
Pratik sonuç: uzun bağlam ve çok sayıda eşzamanlı kullanıcı, modelin kendisi kadar ya da daha fazla bellek ister. Ollama, aksi ayarlanmadıkça 4.096 tokenlik bağlam kullanır, önbellek ise OLLAMA_KV_CACHE_TYPE=q8_0 ayarıyla 8 bite sıkıştırılabilir ve belleği yarıya iner. vLLM sunucusu video belleğinin neredeyse tamamını ağırlıklar ve önbellek için önceden ayırır; oranı --gpu-memory-utilization parametresi belirler.
Yardımcı bellek, CUDA kütüphaneleri ve çalışma tamponlarıdır. Hugging Face tablosunun bunu içermediğini ayrıca belirtiyor. Kartı tam sınırda seçmeyin: birkaç gigabayt boş bırakın.
Hangi model için hangi kart
Fiyatlar accsly kataloğunda 13 Kasım 2026 tarihli aylık piyasa medyanıdır; aksi belirtilmedikçe tek ve tam kartlı tarifeler. Katalog ruble tutuyor, dolar tutarları çevrilmiş ve yuvarlanmıştır.
- 4 veya 8 bitte 8 milyar parametre (4–8 GB ağırlık). 16–24 GB'lık her kart yeter, uzun bağlama da yer kalır. RTX 3090 421 $, L4 532 $, RTX 4090 ayda 559 $.
- 16 bitte 8 milyar (16 GB ağırlık). 24 GB'lık kart gerekir; 16 GB'lık T4'e artık sığmaz.
- 4 bitte 70 milyar (35 GB). 48 GB'lık kart: L40S, 929 $. Bağlamı birkaç on bin tokenle sınırlamak gerekecek.
- 8 bitte 70 milyar (70 GB). 80–96 GB'lık kart: 80 GB'lık A100 yaklaşık 1.180 $ (6 tarife), RTX PRO 6000 1.499 $, H100 2.400 $. 96 GB'lık RTX PRO 6000 önbelleğe daha fazla yer bırakır.
- 16 bitte 70 milyar (140 GB). 80 GB ve üzeri iki kart. Katalogda 160 GB ve üzeri video belleğine sahip 13 sağlayıcıdan 29 tarife var; dörtte biri ayda 2.725 $'dan ucuz.
- 4 bitte 405 milyar (203 GB). 80 GB ve üzeri dört kart. Katalogda altı sağlayıcıda altı böyle tarife var, ayda 3.870 $'dan başlıyor.
Model birkaç karta bölünüyorsa sunucu yazılımının bunu desteklemesi gerekir: vLLM'de kart sayısını --tensor-parallel-size belirler. NVLink ile bağlı kartlar (A100, H100) veriyi PCIe'den daha hızlı paylaşır. Kartlar hakkında daha fazlası hangi iş için hangi ekran kartı yazısında.
Ne kadar hızlı yanıt verir
Yanıt üretilirken her yeni kelime için modelin tüm ağırlıkları bellekten okunur, bu yüzden hız hesaplamaya değil bellek bant genişliğine bağlıdır. Buradan tek bir istek için basit bir tavan tahmini çıkar: bant genişliği bölü ağırlıkların boyutu. Gerçek hız daha düşüktür ama büyüklük mertebesi doğrudur.
- 4 bitte 8 milyar (yaklaşık 4 GB), 300 GB/sn'lik L4'te saniyede en fazla 75 token; 1.008 GB/sn'lik RTX 4090'da 250'ye kadar.
- 4 bitte 70 milyar (35 GB), 864 GB/sn'lik L40S'te saniyede 25 tokene kadar; 3.350 GB/sn'lik H100'de 95'e kadar.
Tek kullanıcılı bir sohbet için L4 bile yeter. Modeli bir ekip kullanıyorsa ya da belgeleri toplu işliyorsa hızlı bellek kendini amorti eder.
İşlemci ne zaman yeter
Ollama ve llama.cpp bir modeli ekran kartı olmadan, sunucunun normal belleğinde çalıştırır. 4 bitte 7–8 milyar parametreli bir model yaklaşık 4–5 GB tutar ve 16 GB RAM'li bir VPS'te çalışır; yavaş, ama bir bot, e-posta ayıklama ya da gece işleme için yeterli. 16 GB RAM'li VPS'in piyasa medyanı ayda 76 $, en uygun karttan beş kat ucuz. GPU varsa ama belleği yetmiyorsa Ollama modeli kart ile işlemci arasında böler; bunu ollama ps ile kontrol edebilirsiniz, Processor sütunu modelin yüzde kaçının GPU'da olduğunu gösterir. Seçki: CPU'da sinir ağları için VPS.
İnce ayar ne kadar bellek ister
Eğitim, çalıştırmaktan kat kat fazla bellek ister. Adam optimizatörüyle karma hassasiyette tam eğitim, parametre başına 6 bayt ağırlık, 8 bayt optimizatör durumu ve 4 bayt gradyan artı ara veriler kaplar. Bu yüzden genellikle modelin tamamı değil, küçük ek katmanlar ayarlanır: LoRA ve QLoRA yöntemleri. Hugging Face'in Llama 3.1 tahmini:
- 8 milyar parametre: tam ince ayar 60 GB, LoRA 16 GB, QLoRA 6 GB;
- 70 milyar: tam 500 GB, LoRA 160 GB, QLoRA 48 GB.
Bu, QLoRA yazarlarının çalışmasıyla örtüşüyor: 65 milyar parametreli bir model tek bir 48 GB'lık kartta ince ayarlanabiliyor. Yani tek bir L40S, 70 milyarlık modelin ince ayarını kaldırır, 8 milyarlık model için RTX 4090 yeter. Eğitim saatler ve günler süren bir iştir ve saatlik kiralamayla yapmak kârlıdır; maliyetin nasıl hesaplanacağı saatlik GPU kiralama yazısında.
RAM ve disk
Modelin ağırlıkları önce diskte durur ve başlatmada RAM üzerinden okunur. 16 bitte 70 milyarlık bir model 140 GB dosya demektir ve karşılaştırma için çoğu zaman birkaç sürüm gerekir. Paylı NVMe alın. Tek kartlı tarifelerde genellikle bol RAM olur: medyan L4 veya T4 ile 64 GB, RTX 4090 ile 128 GB, H100 ile 240 GB. Yük sürekliyse ve model büyükse GPU'lu adanmış sunuculara bakın: makinenin tamamı sizindir ve diski kimseyle paylaşmazsınız.