NVIDIA L40S'li GPU sunucuları

NVIDIA L40S, Ada Lovelace mimarisine dayanan bir veri merkezi kartıdır: ECC destekli 48 GB GDDR6 bellek, FP8 destekli tensör çekirdekleri, ışın izleme için RT çekirdekleri ve AV1 destekli donanım kodekleri. Düşük güç tüketimli çıkarım kartları ile eğitim hızlandırıcıları arasında yer alır: 24 GB'lık kartların iki katı bellek sunar, fiyatı ise H100'den belirgin biçimde düşüktür. Yukarıdaki tabloda bu kartla sunulan bulut tarifeleri ve fiziksel sunucular yer alıyor; birkaç gigabayt bellekli vGPU payından dört kartlı yapılandırmalara kadar. L40S sunucu kiralamadan önce tam olarak ne aldığınızı kontrol edin: kartın tamamını mı, yoksa bir kısmını mı.

48 GB video belleğine neler sığar

L40S'in seçilmesinin ana nedeni bellektir. Dil modelleri için pratik kural: FP16'da milyar parametre başına yaklaşık 2 GB, 8 bit nicemlemede yaklaşık 1 GB, 4 bitte 0,5–0,6 GB. Buna KV önbelleği için pay eklemek gerekir: bağlam ne kadar uzun ve eşzamanlı istek ne kadar çoksa, o kadar bellek kaplar.

• FP16'da 7–13 milyar parametreli modeller rahatça sığar: 13B model yaklaşık 26 GB kaplar, uzun bağlam ve toplu istek işleme için yer kalır.
• 8 bitte 30–34 milyarlık modeller ağırlıklar için yaklaşık 34–36 GB ister. Orta uzunlukta bağlamla tek kartta çalışan bir seçenektir.
• 70B modeller yalnızca 4 bit nicemlemeyle sığar: ağırlıklar yaklaşık 40 GB tutar, bağlama birkaç gigabayt kalır. Tek kullanıcı ve kısa diyaloglar için yeterlidir; yük altındaki bir hizmet için iki kart daha iyidir.
• İnce ayar. 7–13B modellerde LoRA ve yaklaşık 30B'ye kadar QLoRA tek karta sığar. Adam optimizer ile 7B bir modelin bile tam eğitimi 48 GB'tan fazlasını gerektirir.

Modeliniz 8 milyar parametreden küçükse ve 24 GB'a kadar bellek yetiyorsa L4'lü sunucuların fiyatlarını karşılaştırın: bu yük için daha ekonomiktirler. Büyük modelleri sıfırdan eğitmek için H100 ve A100 daha uygundur: HBM bellekleri çok daha yüksek bant genişliğine sahiptir ve kartlar NVLink ile bağlanır.

Görseller, render ve video

L40S burada eğitimden daha güçlüdür. Stable Diffusion ve Flux bu kartta görselleri saniyeler içinde üretir; 48 GB yüksek çözünürlükte çalışmaya, birkaç modeli aynı anda bellekte tutmaya ve ağırlıkları boşaltmadan kendi LoRA'larınızı eğitmeye olanak tanır. RT çekirdekleri Blender Cycles'ta OptiX üzerinden ve diğer GPU render motorlarında işlemi hızlandırır; geniş bellek yüksek çözünürlüklü dokulara sahip ağır sahneleri barındırır. AV1 destekli donanım NVENC ve NVDEC, işlemciyi yormadan video dönüştürmeyi üstlenir.

vGPU payı, tam kart ve ×2, ×4 yapılandırmalar

Tablodaki en ucuz satırlar tam kart değildir. "L40S-4Q", "-8Q", "-12Q", "-16Q" adlı tarifeler NVIDIA vGPU ile tek bir kartın bir payını verir: sanal makineye 4, 8, 12 veya 16 GB video belleği ve işlem süresinin bir kısmı ayrılır. Q harfi sanal iş istasyonu profilini ifade eder.

• 4–8 GB'lık pay uzak bir iş istasyonu için uygundur: CAD, 3B modelleme, donanım hızlandırmalı kurgu. 4 GB'ta işe yarar boyutta bir dil modeli çalıştırılamaz.
• 12–16 GB'lık pay görsel üretimi ve küçük 4 bit modelleri kaldırır, ancak işlem birimleri komşularla paylaşılır ve hız garanti edilmez.
• 48 GB'lık tam kart büyük modellerin çıkarımı, ince ayar ve istikrarlı performans için gereklidir.
• ×2 ve ×4 yapılandırmalar toplamda 96 ve 192 GB sunar. L40S'te NVLink yoktur, kartlar PCIe 4.0 üzerinden veri alışverişi yapar; bu nedenle tek bir modeli kartlara bölmek NVLink'li hızlandırıcılara göre daha yavaştır. Buna karşılık her karta bir tane olmak üzere bağımsız model kopyaları neredeyse doğrusal ölçeklenir.

L40S, MIG desteklemez: kart yalnızca vGPU profilleriyle paylaştırılır.

Sürücü, CUDA ve imajda neye bakmalı

• Compute capability 8.9. CUDA 11.8 veya daha yenisi gerekir; FP8 ve güncel PyTorch sürümleri için CUDA 12'li bir imaj seçin.
• vGPU paylarında sürücüyü sağlayıcı kurar: makinede bir vGPU misafir sürücüsü çalışır ve üzerine normal sürücü kurulmamalıdır. Sürümünü önceden sorun.
• nvidia-smi çıktısı ilk açılıştan sonra modeli, ayrılan belleği ve CUDA sürümünü gösterir; bunları tarifeyle karşılaştırın.

Saatlik veya aylık ödeme ve fiyat aralığı

Katalogda L40S'li bir GPU sunucusu, vGPU payı için ayda yaklaşık 115 $'dan en güçlü çok kartlı yapılandırmalar için yaklaşık 4.500 $'a kadar uzanıyor; medyan 960 $ civarında. Tarifelerin yarısından azı saatlik faturalandırılıyor. Saatlik ödeme tek seferlik işler için kârlıdır: bir ince ayar çalıştırması, bir projenin render'ı, yayına almadan önce model testi. Kart ayın büyük bölümünde meşgulse aylık tarife ya da fiziksel GPU sunucusu genellikle daha ucuzdur. Bu tür tarifelerin nasıl karşılaştırılacağı saatlik ödeme sayfasında anlatılıyor. Konumu da kontrol edin: yakın bir veri merkezi etkileşimli kullanımda gecikmeyi azaltır ve veri setlerinin indirilmesini hızlandırır; AB vatandaşlarının kişisel verilerini işliyorsanız AB'deki bir veri merkezi GDPR uyumunu kolaylaştırır. Tarife başına ödeme yöntemleri tabloda yer alıyor; uluslararası sağlayıcıların çoğu standart banka kartlarını kabul ediyor.