GPU sunucu: hangi iş için hangi kart
Sunucu için ekran kartı önce video belleğine, sonra hıza göre seçilir. Model ya da sahne kartın belleğine sığmıyorsa, sunucu ne kadar hızlı hesaplarsa hesaplasın işe yaramaz. Aşağıda hangi işlerin hangi kartlarda çalıştığını, sunucu kartlarının oyun kartlarından farkını ve accsly kataloğuna göre her kartın aylık kirasını bulacaksınız.
Kısa cevap. Küçük modeller, konuşma tanıma ve video işleme için 16–24 GB'lık bir kart yeter: T4, L4, RTX 4090. Onlarca milyar parametreli dil modelleri 48–96 GB ister: L40S veya RTX PRO 6000. Büyük modeller A100 ve H100 üzerinde, genellikle aynı sunucuda birkaç kartla eğitilir.
Karar veren üç sayı
- Video belleği (VRAM). Sinir ağının ağırlıklarını, verileri ve ara sonuçları tutar. Yetmezse iş hatayla durur ya da modelin bir kısmı sunucunun normal belleğine geçer ve kat kat yavaş çalışır. Bir dil modelinin ne kadar belleğe ihtiyaç duyduğu ayrı bir yazıda anlatılıyor: sunucuda kendi dil modeliniz.
- Bellek bant genişliği. Kartın kendi belleğinden saniyede kaç gigabayt okuduğu. Dil modelleri için hızın ana göstergesi budur: yanıt üretilirken her yeni kelime için modelin tüm ağırlıklarının okunması gerekir. NVIDIA bu aşamanın hesaplamayla değil bellek hızıyla sınırlı olduğunu açıkça yazıyor.
- Kartlar arası bağlantı. Model tek karta sığmıyorsa birkaç karta bölünür. NVLink'li kartlar veriyi PCIe veri yolundan daha hızlı paylaşır. H100 SXM'de bu 900 GB/sn'dir, L40S'te ise NVLink hiç yoktur.
En sık kiralanan kartlar
accsly kataloğundaki 13 Kasım 2026 tarihli ekran kartlı tarifeleri aldım ve yalnızca sunucuda tek ve tam kart olanları bıraktım. Fiyat aylık piyasa medyanıdır, parantez içinde tarifelerin ortadaki yarısının aralığı var. Katalog fiyatları ruble olarak tutuyor, dolar tutarları çevrilmiş ve yuvarlanmıştır. Teknik özellikler NVIDIA sitesindeki kart sayfalarından alındı.
| Kart | Bellek | Bant genişliği | Aylık fiyat | Tarife / sağlayıcı |
|---|---|---|---|---|
| RTX A4000 | 16 GB | 448 GB/sn | 373 $ (301–514) | 11 / 8 |
| RTX 3090 | 24 GB | 936 GB/sn | 421 $ (390–501) | 12 / 7 |
| L4 | 24 GB | 300 GB/sn | 532 $ (448–853) | 20 / 10 |
| T4 | 16 GB | 320 GB/sn | 549 $ (400–825) | 29 / 9 |
| RTX 4090 | 24 GB | 1.008 GB/sn | 559 $ (480–649) | 15 / 9 |
| RTX 5090 | 32 GB | 1.792 GB/sn | 699 $ (647–823) | 11 / 7 |
| L40S | 48 GB | 864 GB/sn | 929 $ (679–1.170) | 11 / 9 |
| A100 | 40 veya 80 GB | 1.935–2.039 GB/sn | 1.099 $ (1.066–1.224) | 9 / 8 |
| RTX PRO 6000 | 96 GB | 1.597 GB/sn | 1.499 $ (1.137–2.547) | 29 / 11 |
| H100 | 80 GB | 3.350 GB/sn (SXM) | 2.400 $ (2.019–2.974) | 11 / 10 |
İki şey göze çarpıyor. Eski T4, daha yeni ve daha fazla belleğe sahip L4 ile neredeyse aynı fiyatta. Oyun kartları RTX 3090 ve 4090 ise aynı bellekli sunucu kartlarından ucuz, üstelik bellekleri L4'ünkünden üç kat hızlı.
Hangi iş için hangi kart
Konuşma tanıma, küçük modeller, video
Konuşma tanıma modelleri, sınıflandırıcılar, anlamsal arama ve sıkıştırılmış 7–8 milyar parametreli dil modelleri birkaç gigabayt yer kaplar. Bunlara 16–24 GB yeter. L4 72 W çeker ve tek bir alçak profil yuva kaplar, bu yüzden sağlayıcılar bir sunucuya birkaç tane takar. T4 aynı sınıftadır: 16 GB ve 70 W, ama bir nesil eski. İkisi de videoyu donanımla kodlar. Seçkiler: L4'lü sunucular, T4'lü sunucular.
Görsel üretimi ve 30 milyar parametreye kadar dil modelleri
Burada hem bellek hem hız önemlidir. RTX 4090 ve 3090, 24 GB ve saniyede yaklaşık bir terabayt; RTX 5090 ise 32 GB ve 1,8 TB/sn sunar. Tek kullanıcı ya da küçük bir ekip için hızlı karta sahip olmanın en ucuz yoludur. Oyun kartlarının sınırları: RTX 4090 ve 5090'da çift çalışma için NVLink yoktur ve hiçbir oyun kartı yalıtılmış parçalara bölünemez. Katalogda RTX 4090'lı 15 tarifeden 12'si adanmış sunucudur, yani makinenin tamamı sizindir.
70 milyar parametreli dil modelleri, render
70 milyar parametreli bir model 4 bite sıkıştırıldığında yaklaşık 35 GB tutar; bu, herhangi bir oyun kartının belleğinden fazladır. 48 GB ve üzeri bir kart gerekir. L40S hata düzeltmeli (ECC) 48 GB sunar, NVIDIA onu çıkarım, görsel üretimi ve render için konumlandırıyor. RTX PRO 6000 Blackwell 96 GB ve 1,6 TB/sn'ye sahip; 8 bit formatındaki 70 milyarlık model ona sığar. Seçkiler: L40S'li sunucular, RTX PRO 6000'li sunucular.
Eğitim ve büyük modeller
Eğitim, hazır bir modeli çalıştırmaktan kat kat fazla bellek ister ve neredeyse her zaman aynı anda birkaç kartta yürür. Bunun için NVLink'li A100 (40 veya 80 GB, 2 TB/sn'ye kadar) ve H100 (80 GB, SXM sürümünde 3,35 TB/sn) vardır. H100, A100'ün iki katı fiyatındadır ama belleği bir buçuk kat hızlıdır. Seçkiler: A100'lü sunucular, H100'lü sunucular.
Uzak çalışma masaları ve grafik
Sanal masaüstleri, CAD ve 3D programları için profesyonel RTX A4000, RTX 4000 Ada ve A16 kartları uygundur. A16'da tek kart üzerinde 16'şar GB'lık dört GPU bulunur ve hafif grafik yükü olan çok sayıda kullanıcı için tasarlanmıştır.
Tam kart mı, bir parçası mı
Sunucu kartları müşteriler arasında bölünebilir. A100 yedi yalıtılmış parçaya, RTX PRO 6000 dörde bölünür. Sağlayıcı böyle bir parçayı «A100'lü sunucu» diye satabilir, oysa size 80 değil 10 GB bellek düşer. Katalogda A16, A40 ve L4 ile böyle tarifeler var: 2, 4 veya 8 GB video belleğiyle. Sipariş vermeden önce tarife açıklamasındaki video belleğini kontrol edin. Kartın tamamına ihtiyacınız varsa kartın tam belleğiyle aynı olmalı.
Bulut, VPS veya adanmış sunucu
Katalogdaki ekran kartlı tarifelerin yarısı adanmış sunucu, yarısı bulut ve VPS. Bulut sunucu birkaç saatliğine oluşturulup silinebilir; bu, deneyler ve tek seferlik işler için uygundur. Hangisinin daha ucuz olduğunu nasıl hesaplayacağınız saatlik GPU kiralama yazısında anlatılıyor. Kart gece gündüz çalışıyorsa adanmış sunucu daha ucuzdur: makinenin tamamı sizindir ve işlemciyi ya da diski paylaştığınız komşu yoktur. Seçki: GPU'lu adanmış sunucular.
Kart yalnızca küçük bir model için gerekiyorsa ve yanıt hızı kritik değilse, kartsız da olur. 7–8 milyar parametreli modeller yeterli RAM varsa işlemcide de çalışır. Seçki: CPU'da sinir ağları için VPS.
Sipariş öncesi kontrol listesi
- Video belleği — tam kart mı, bir parçası mı.
- RAM ve disk. Model önce diske indirilir ve sunucunun belleğine okunur. Tek kartlı tarifelerde medyan 64 GB RAM'dir. Büyük modeller için 200 GB'tan başlayan NVMe alın.
- Sürücü ve CUDA sürümü. Sağlayıcının sürücüyü kendisinin kurup kurmadığını ve hangi sürümü kurduğunu öğrenin. Güncel framework'ler güncel CUDA ister.
- Kart sayısı ve aralarındaki bağlantı, model tek karta sığmıyorsa.
- Tek seferlik ücretler. Katalogdaki 24 tarife, neredeyse hepsi adanmış sunucu, kurulum ücreti alıyor.