GPU'lu dedicated sunucular

Ekran kartlı dedicated sunucu, içinde bir veya birkaç kart takılı olan fiziksel bir makinedir ve bu donanımın tamamı yalnızca sizin için çalışır. Modeliniz ile GPU arasında hipervizör yoktur, PCIe veri yolunu, diskleri ve bağlantıyı sizinle paylaşan komşular bulunmaz; BIOS, sürücü ve işletim sistemi ayarları sizin elinizdedir. Yukarıdaki tabloda tek bir iş istasyonu kartından birden fazla hızlandırıcılı sistemlere kadar bu tür yapılandırmalar yer alıyor. İşiniz kısa sürecekse ve saatlik ödeme istiyorsanız, bulut tarifelerini genel GPU sunucuları bölümünde karşılaştırın.

Dedicated GPU sunucu bulut GPU'dan ne zaman daha kârlıdır

• Kart neredeyse günün her saati yük altında. Saatlik bulut GPU, bir akşamlığına açıp kapattığınız sürece idealdir. Bir hizmet kullanıcılara ara vermeden yanıt veriyorsa, GPU'lu dedicated sunucu kiralamanın aylık bedeli genellikle aynı yükün saatlik hesabından daha düşüktür.
• Eğitim haftalarca sürüyor. Uzun bir eğitim veya ince ayar (fine-tuning) çalışması kesintiden hoşlanmaz. Kendi makinenizde sağlayıcının kapasitesi yetmediği için durdurulmaz, kontrol noktaları da ücretli harici depolama yerine yerel diskte durur.
• Veriler makineden çıkmamalı. Tıbbi görüntüler, müşteri yazışmaları, şirket içi belgeler: dedicated sunucuda diskler başka müşterilerle paylaşılmaz ve denetçiye verilerin fiziksel olarak nerede durduğunu ve kimin erişebildiğini göstermek daha kolaydır.
• Lisanslar donanıma bağlı. Render, CAD ve simülasyon için bazı profesyonel yazılımlar makine veya fiziksel kart başına lisanslanır. Aynı GPU'lara sahip kalıcı bir sunucu, her sanal makine yeniden başlatmasından sonra yeniden etkinleştirme derdini ortadan kaldırır.
• Bağlantı yapısı belli birkaç karta ihtiyacınız var. Dağıtık eğitimde kartların birbirine tam olarak nasıl bağlandığı önemlidir. Bulutta bu bağlantı çoğu zaman gizlidir; dedicated sunucuda ise önceden sorabilir ve teslimattan sonra doğrulayabilirsiniz.

GPU hesaplamasına ihtiyacınız yoksa ve veritabanı ya da sanallaştırma için yalnızca güçlü bir fiziksel makine istiyorsanız, genel dedicated sunucular kataloğuna bakmak daha uygundur: daha fazla yapılandırma ve daha düşük fiyatlar.

Kart, video belleği ve kartlar arasındaki bağlantı

Tarife satırında ilk okunacak şey kart modeli ve bellek miktarıdır. RTX A4000 ve A5000 iş istasyonu kartları rafta uzun süreli yük için tasarlanmıştır ve daha sessiz çalışır; RTX 3090 ve 4090 paraya göre çok hesaplama gücü sunar; A100 ve H100 ise model 24 GB'a sığmadığında veya eğitim büyük paketlerle yapıldığında gerekir. Eski Tesla K80 ve P40 kartlar uygun fiyatlı yapılandırmalarda karşınıza çıkar: bellekleri boldur ama güncel CUDA sürümlerini ve modern sayı biçimlerini desteklemezler, bu yüzden üretim yükünden çok deneyler için uygundurlar. NVS veya giriş seviyesi Quadro gibi zayıf kartlara da dikkat edin: sunucularda çoğu zaman yalnızca görüntü çıkışı için takılırlar ve sinir ağları için neredeyse işe yaramazlar.

Addaki "2×" veya "8×" ifadesi tek bir kartın belleğini değil, kart sayısını gösterir. 24 GB'lık iki kart, 48 GB'lık tek bir kartla aynı değildir: model bölünmek zorundadır ve kartlar arası veri alışverişinin hızı belirleyici olur. NVLink köprüsüyle bağlanan kartlar PCIe veri yoluna göre kat kat hızlı veri alışverişi yapar, HGX sınıfı çok GPU'lu platformlarda ise tüm hızlandırıcılar birbirine doğrudan bağlıdır. Sağlayıcıya her kartın kaç PCIe hattı aldığını ve hepsinin tek bir işlemciye bağlı olup olmadığını sorun: kartların yarısı ikinci soket üzerinden bağlıysa aralarındaki trafik daha yavaştır.

İşlemci, diskler, güç ve ağ

• CPU ve RAM. İşlemci verileri hazırlar, görüntüleri çözer ve metinleri tokenlara ayırır. Kart başına birkaç fiziksel çekirdek ve en az toplam video belleği kadar RAM planlayın, aksi halde hızlandırıcılar veri bekler.
• Veri setleri için NVMe. Büyük bir veri seti her epokta diskten okunur. Yerel NVMe, SATA disklere ve ağ birimlerine göre eğitim süresini belirgin şekilde kısaltır.
• Güç ve soğutma. Güçlü bir kart yüzlerce watt çeker, sekiz hızlandırıcılı bir sunucu ise küçük bir rak kadar enerji tüketir. Her veri merkezi tek bir üniteye bu kadar güç ayıramaz; bu yüzden çok kartlı sunucular küçük partiler halinde sunulur ve tabloda sık sık "stokta yok" olarak görünür.
• Port ve trafik. Model ağırlıkları ve veri setleri yüzlerce gigabayt tutar. Sıkı trafik sınırı olmayan gigabit port, ilk indirmede ve düzenli kontrol noktası yüklemelerinde beklemeyi önler.
• Kurulum ücreti ve asgari süre. GPU sunucularında normal sunuculara göre daha sık kurulum ücreti ve bir aydan bir yıla kadar asgari kiralama süresi bulunur. Yalnızca aylık satırı değil, tüm dönemin maliyetini hesaplayın.
• Teslim süresi. Stoktaki sunucular saatler içinde teslim edilir; az bulunan kartlı yapılandırmalar siparişe göre kurulur ve bekleme günler ya da haftalar sürebilir.

Ödemeden önce neleri kontrol etmeli

1. Sürücülü imaj. Sağlayıcının NVIDIA sürücüsü ve CUDA ile hazır bir sistem mi kurduğunu, yoksa boş bir işletim sistemi mi teslim ettiğini sorun. Sürücü sürümünü framework'ünüzün ve konteynerlerinizin gereksinimleriyle karşılaştırın.
2. Uzak konsol. KVM veya IPMI, başarısız bir sürücü güncellemesinden sonra destek ekibini beklemeden sistemi yeniden kurmanıza ve açılışı onarmanıza olanak tanır. GPU sunucusunda bu daha da önemlidir: sürücü hatası bazen makineyi ağsız bırakır.
3. Arızalanan kartın değişimi. Sürekli yük altındaki ekran kartları disklerden daha sık arızalanır. Bir kartın ne kadar sürede değiştirildiğini, yerinde yedek bulunup bulunmadığını ve kesinti süresi kadar kiranın uzatılıp uzatılmadığını öğrenin.
4. Verilerin konumu. Sunucu kişisel verileri veya ticari sırları işleyecekse veri merkezinin ülkesini ve saklama koşullarını kontrol edin. Türkiye'deki müşteriler için bu, KVKK'nın yurt dışına aktarım kurallarının uygulanıp uygulanmayacağını belirler; konum ayrıca veri setlerinin ne kadar hızlı indiğini de etkiler.
5. Teslimattan sonra test. İlk saatlerde gerçek bir işi tam yükte çalıştırın ve kartların sıcaklıklarını ve frekanslarını izleyin: aşırı ısınma ve frekans düşüşü hemen görünür, şikâyeti de dönemin başında iletmek daha kolaydır.

Sunucu sınıfları arasında hâlâ seçim yapıyorsanız, VPS seçme rehberi ile başlayın. Hız gereksinimi katı olmayan küçük bir yerel model için ise bazen Ollama için VPS seçkisinden ekran kartı olmayan sıradan bir sunucu yeterlidir.