NVIDIA L4'lü GPU sunucuları

NVIDIA L4, düşük güç tüketimi için sunuculara takılan Ada Lovelace nesli bir karttır: 72 W, düşük profilli tek yuva tasarım, fansız pasif soğutma ve doğrudan PCIe 4.0 x16 yuvasından beslenme. Bir kasaya tek bir büyük kartın sığdığı yere birkaç L4 sığar. Rolü de buradan gelir: L4'lü bir GPU sunucusu büyük modelleri eğitmek için değil, saatlik fiyatın ve paralel akış sayısının önemli olduğu kesintisiz çıkarım, konuşma tanıma ve video işleme için kiralanır. T4 kartının halefidir ve aynı işlerde belirgin şekilde daha hızlıdır.

24 GB video belleğine neler sığar

L4'te 24 GB GDDR6 bellek bulunur. Dil modelleri için pratik kural: FP16'da milyar parametre başına yaklaşık 2 GB, 8 bitte yaklaşık 1 GB, 4 bitte 0,5–0,6 GB, buna bağlam uzunluğu ve eşzamanlı istek sayısıyla büyüyen KV önbelleği eklenir.

• FP16'da 7–8 milyar parametre sığar, ancak uzun bağlam ve aynı anda birkaç kullanıcıyla bellek payı hızla tükenir.
• 8 bitte 13 milyar bağlam için yer bırakarak sığar.
• 4 bitte yaklaşık 30 milyar tek kartın sınırıdır, bağlam kısa tutulmalıdır.
• Whisper, embedding ve reranker modelleri L4'ün asıl işidir: modeller küçüktür ve tek kart bu tür birkaç hizmeti aynı anda taşıyabilir.
• Görsel üretimi Stable Diffusion ve Flux ile orta hızda çalışır; yoğun bir görsel akışı için daha güçlü bir kart daha rahattır.

İnce ayar, 7–8 milyar parametreye kadar modellerde LoRA veya QLoRA olarak mümkündür, ancak tam eğitim bu kartın işi değildir. FP8 desteği (compute capability 8.9) çıkarımda işe yarar: FP8'de model FP16'nın yarısı kadar bellek kaplar ve çıkarım motorunuz FP8'i destekliyorsa genellikle 4 bitlik biçimlerden daha az kalite kaybeder.

L4 nerede sınıra dayanır ve neyle karşılaştırılmalı

Ana sınır, yaklaşık 300 GB/sn olan bellek bant genişliğidir. Bir dil modelinin token üretim hızı öncelikle buna bağlıdır; bu yüzden L4 üzerindeki bir sohbet botu, aynı kapasitede ama daha hızlı belleğe sahip bir karta göre daha yavaş yanıt verir.

• A10: yine 24 GB, ancak 150 W tüketimle yaklaşık 600 GB/sn. Canlı kullanıcılı sohbette genellikle daha hızlıdır; video ve küçük modeller için ek maliyet her zaman haklı değildir.
• L40S: 48 GB ve çok daha fazla işlem gücü. Model 24 GB'a sığmadığında veya büyük bir modele çok sayıda eşzamanlı istek geldiğinde gerekir.

L4'ün güçlü yanı videodur. Donanımsal NVENC ve NVDEC birimleri AV1'i destekler ve tek kart aynı anda çok sayıda akışı dönüştürür: canlı yayın kod dönüştürme, klip kesme, aynı kartta nesne tanımayla kamera görüntüsü analizi.

Kart payı, tek kart veya birkaç kart

Tablodaki en ucuz satırlar tam kart değil, 2 veya 4 GB video belleğine sahip vGPU paylarıdır. L4'te MIG yoktur; kart vGPU profilleriyle paylaştırılır. Böyle bir pay video, uzak masaüstü ve hafif tanıma modelleri için uygundur, dil modelleri için değil: 2–4 GB'a makul bağlamlı küçük bir LLM bile sığmaz. Diğer tarifeler tam kart sunar: bir, iki veya dört adet.

L4'te NVLink de yoktur, kartlar yalnızca PCIe üzerinden haberleşir. Bu nedenle L4 ×2 veya ×4 sunucu, parçalara bölünmüş tek bir büyük model için değil, birkaç bağımsız işçi için avantajlıdır: her kart modelin kendi kopyasını çalıştırır, yük dengeleyici istekleri dağıtır. 40–70 milyar parametrelik tek bir model gerekiyorsa daha fazla belleğe sahip tek bir kart daha doğru seçimdir.

Sürücüler, fiyatlar ve faturalandırma

L4 için 525 dalı veya daha yeni bir NVIDIA sürücüsü ve CUDA 11.8+ gerekir; FP8 için CUDA 12 ile PyTorch, vLLM veya TensorRT-LLM'in güncel sürümleri gerekir. Hazır imajda nvidia-smi çıktısını kontrol edin: kart modeli, bellek (24 GB veya pay boyutu) ve sürücü sürümü. vGPU paylarında misafir sürücünün ana makinedeki sürümle eşleşmesi gerekir; bu yüzden genellikle NVIDIA sitesinden değil, sağlayıcının imajından gelir.

Katalogda L4'lü sunucu kiralama, bir pay için ayda yaklaşık 60 $'dan dört kartlı özel bir makine için yaklaşık 5.000 $'a kadar uzanır; aralığın ortası 870 $ civarındadır. Tarifelerin çoğu saatlik faturalandırılır; bu da testler, toplu video işleri ve yalnızca gündüz çalışan hizmetler için avantajlıdır. Kart gün boyu doluysa saatlik ve aylık fiyatı karşılaştırın; ayrıntılar saatlik faturalandırma sayfasında. AB sakinlerinin kişisel verileri için GDPR uyumunu kolaylaştırmak adına AB'de bir veri merkezi seçin; canlı çıkarım için gecikmeyi düşük tutmak üzere kullanıcılarınıza yakın bir konum tercih edin. Sağlayıcıların çoğu uluslararası banka kartlarını kabul eder.