GPU sunucu arama ve karşılaştırma

Ekran kartlı sunucu, iş binlerce paralel iş parçacığına bölünebildiğinde anlam kazanır: sinir ağlarının matris işlemleri, kare render etme, video kodlama. İşlemci bu tür işleri kat kat daha yavaş yapar; veri merkezi sınıfı bir kartı satın almak ise bir otomobil fiyatına mal olur ve işler arasında boşta bekler. Yukarıdaki tablo Avrupa, ABD ve Asya'daki sağlayıcıların GPU'lu bulut ve VPS paketlerini listeler; tablonun üstündeki anahtar ekran kartlı dedicated sunucuları da gösterir.

GPU neden kiralanır ve ne zaman CPU yeterlidir

• Sinir ağı çıkarımı (inference). 7–70 milyar parametreli bir dil modeli, konuşma tanıma, belge araması için embedding'ler. GPU'da yanıt saniyeler içinde gelir ve tek bir sunucu aynı anda birçok kullanıcıya hizmet verir.
• İnce ayar. Kendi verilerinizle fine-tuning ve LoRA adaptörleri, aynı modeli çalıştırmaktan belirgin şekilde daha fazla video belleği ister: ağırlıkların yanında gradyanlar ve optimizer durumu da belleğe yüklenir.
• Görsel üretimi. Stable Diffusion, Flux ve benzeri modeller RTX sınıfı bir kartta görseli saniyeler içinde, işlemcide ise dakikalar içinde üretir.
• Render. Blender Cycles, Redshift, Octane: teslim tarihinden önce birkaç saatlik kiralama, tek bir proje için iş istasyonu almaktan ucuza gelir.
• Video dönüştürme. NVENC/NVDEC donanım kodekleri bir yayını aynı anda birkaç kaliteye kodlar ve işlemcinin yükünü alır.
• Bilimsel hesaplama. Moleküler dinamik, simülasyonlar, görüntü işleme: CUDA veya OpenCL için yazılmış her şey.

Ekran kartı her zaman gerekmez. Küçük dil modelleri sıkıştırılmış hâlde sıradan bir işlemcide de çalışır: daha yavaş, ama normal bir VPS'in sabit fiyatına. Hız şartı katı olmayan bir iç bot veya belge işleme için Ollama için VPS seçkisiyle başlayın, yanıt süresi darboğaz olduğunda GPU'ya geçin.

Bulut GPU mu, kartlı dedicated sunucu mu

Bulut GPU veya GPU VPS kısa ve öngörülemeyen işler için uygundur. Birçok paket saatlik faturalandırılır: sunucuyu başlatın, eğitimi veya render'ı çalıştırın, silin ve yalnızca kullandığınız süreyi ödeyin. Bu paketlerde kart ya sanal makineye bütünüyle aktarılır (passthrough) ya da vGPU ile müşteriler arasında paylaştırılır ve size bellek ile hesaplama birimlerinin bir kısmı düşer. Bunu sorun: kartın bir payı küçük modellerin çıkarımı için yeterlidir, eğitim için değil.

Ekran kartlı dedicated sunucu tek bir müşteriye aittir: sizinle kart arasında sanallaştırma yoktur, performans istikrarlıdır ve genellikle daha fazla disk ile bellek sunulur. Model kullanıcılara günün her saati yanıt veriyorsa veya render kuyruğu hiç boşalmıyorsa, sürekli yükte daha kârlıdır. GPU'ya değil de güçlü bir makineye ihtiyacınız varsa genel dedicated sunucu kataloğuna bakın.

GPU paketi nasıl okunur

• Kart modeli ve nesli. Tüketici sınıfı RTX 3090 ve 4090 kartlar fiyatına göre çok hesaplama gücü verir ve görsel üretimi ile çıkarım için iyidir. Profesyonel A2000 ve L4 sınıfı kartlar az enerji harcar, çıkarım ve video için uygundur. A100 ve H100 büyük modelleri eğitmek içindir: daha fazla bellek, kartlar arasında hızlı bağlantı ve BF16, FP8 gibi formatlara destek.
• Video belleği. Asıl sınır budur: VRAM'e sığmayan bir model ya hiç başlamaz ya da kat kat yavaş çalışır. Kaba kural: tam FP16 hassasiyette bir milyar parametre yaklaşık 2 GB tutar, 4 bit nicemlemede birkaç kat daha az, buna bağlam için pay eklenir. Eğitim için bunu birkaç kat daha artırın.
• Kart sayısı. İki kart, belleği iki katına çıkmış tek bir kart değildir: model aralarında bölünmek zorundadır ve kartlar arasındaki bağlantı hızı (NVLink veya PCIe) sonucu etkiler.
• Kartın yanındaki CPU ve RAM. Zayıf bir işlemci veriyi yeterince hızlı hazırlayamaz ve pahalı kart boşta kalır. Sistem belleğinin video belleğinden az olmaması iyi olur.
• NVMe disk. Veri kümeleri, checkpoint'ler ve model ağırlıkları onlarca ila yüzlerce gigabayt yer kaplar; yavaş disk her yüklemeyi uzatır.
• Bant genişliği ve trafik. Büyük bir modelin ağırlıkları gigabaytlarca indirilir. İlk indirme aylık kotayı tüketmesin diye port hızını ve trafik limitini kontrol edin.
• Hazır imajlar. NVIDIA sürücüsü, CUDA, PyTorch veya GPU destekli Docker içeren bir imaj bir saatlik kurulumdan tasarruf ettirir. Sürümleri kontrol edin: eski sürücü güncel bir framework'ü çalıştırmaz.
• Saatlik mi aylık mı. Gerçek kullanıma göre karşılaştırın: günde birkaç saatlik çalışmada saatlik paket, kesintisiz çalışmada aylık paket daha ucuzdur.

Ödemeden önce neleri kontrol etmeli

1. Bir test saati. Sunucuyu bir saatliğine kiralayın, kendi işinizi çalıştırın ve nvidia-smi çıktısına bakın: kart modeli, bellek miktarı, sürücü sürümü ve yük altındaki kullanım.
2. Kart stoğu. Popüler modeller sık sık tükenir ve listedeki bir paket, istediğiniz konumda boş kart olduğu anlamına gelmez. Teslimatın ne kadar sürdüğünü ve sunucunun rezerve edilip edilemeyeceğini sorun.
3. Verinin konumu. Model kişisel veri işliyorsa KVKK, AB'deki kişilerin verileri için de GDPR size veri sorumlusu olarak uygulanır; veri merkezinin ülkesini ve saklama koşullarını kontrol edin. Böyle bir kısıt yoksa konum çoğunlukla veri kümelerinin indirme hızını etkiler.
4. Kalıcı depolama. Saatlik bir sunucu silindiğinde diski genellikle temizlenir. Ağırlıkları her başlatmada yeniden indirmemek için kalıcı bir birim veya anlık görüntü olup olmadığını öğrenin.
5. Ödeme. Saatlik paketler ön ödemeli bakiyeden düşer ve bakiye sıfırlandığında sunucu durdurulur. Çoğu sağlayıcı kart kabul eder, birçoğu PayPal alır, kurumsal müşteriler genellikle fatura ile ödeyebilir; tablo her paketin yöntemlerini gösterir.

Kart projenin yalnızca bir bölümü için gerekiyorsa, geri kalanını VPS kataloğundan normal bir sunucuya taşıyın: web arayüzü ve veritabanı orada çalışır, GPU sunucu yalnızca hesaplama için açılır.