NVIDIA RTX PRO 6000'li GPU sunucuları

NVIDIA RTX PRO 6000, hata düzeltmeli (ECC) 96 GB GDDR7 belleğe sahip, Blackwell neslinden profesyonel bir karttır. Bu, H100 PCIe'nin 80 GB'ından fazla ve RTX 6000 Ada'nın iki katıdır. RTX PRO 6000'li bir GPU sunucusu seçmenin başlıca nedeni, daha önce iki kart gerektiren bir modeli ağırlıkları hızlandırıcılar arasında bölmeden tek kartta çalıştırmaktır. Aynı zamanda tam teşekküllü bir grafik kartı olarak kalır: ışın izleme için RT çekirdekleri ve donanımsal NVENC kodlayıcıları vardır, bu yüzden render ve video işleri için de kiralanır.

Adı birbirine benzeyen üç kart

Kataloglarda üç farklı nesli karıştırmak kolaydır ve fiyatları kat kat farklıdır:

• Quadro RTX 6000 — Turing mimarisi, 24 GB. Eski bir grafik kartı; güncel sinir ağları için belleği ve işlem gücü yetersizdir.
• RTX 6000 Ada — 48 GB, önceki nesil. Yapı olarak L40S'e yakındır.
• RTX PRO 6000 Blackwell — 96 GB GDDR7, FP4, FP6 ve FP8 formatlarını destekleyen beşinci nesil tensör çekirdekleri. Bu sayfada toplanan kart budur.

Blackwell'in de varyantları vardır. Server Edition rack için tasarlanmıştır: pasif soğutma, 600 W'a kadar güç, hava akışını sunucunun fanları sağlar. Max-Q ise üfleyici fanlı 300 W'lık iş istasyonu sürümüdür; aynı kasaya birkaç tane sığdırmak daha kolaydır, ancak uzun süreli yükte daha düşük frekanslarda çalışır. Tarif satırında yalnızca "RTX PRO 6000" yazıyorsa sağlayıcıya hangi varyant olduğunu sorun: hız ve MIG desteği buna bağlıdır.

96 GB'a neler sığar

Kaba bir hesapla model FP16'da milyar parametre başına yaklaşık 2 GB, 8 bit nicemlemede yaklaşık 1 GB, 4 bitte 0,5–0,6 GB yer kaplar. Bunun üzerine bağlam uzunluğu ve eşzamanlı istek sayısıyla büyüyen KV önbelleği için pay bırakmak gerekir.

• Nicemlemesiz FP16 — makul bağlamla yaklaşık 30–40 milyar parametreye kadar modeller.
• 8 bit — 70 milyar parametreli bir model tamamen tek kartta, önbellek için de yer kalır.
• 4 bit — 100–120 milyar sınıfı modeller. Motorunuz bu formatı destekliyorsa tensör çekirdeklerindeki FP4 desteği bu tür çıkarımı hızlandırır.
• İnce ayar — 16 bitte 13–30 milyarlık modeller için LoRA, 70 milyar için QLoRA. Büyük modellerin tam eğitimi bu kartın işi değildir.
• Görsel ve video — büyük gruplar halinde görsel üretimi, 24–48 GB'a sığmakta zorlanan ağır video üretim modelleri.
• Render ve 3D — oyun kartlarının belleğine sığmayan dev dokulu sahneler, çevrimdışı render, NVENC ile video dönüştürme.

MIG, çoklu kart ve H100'ün daha iyi olduğu durumlar

Server Edition MIG'i destekler: kart, her biri yaklaşık 24 GB olan, kendi belleği ve hesaplama birimleri bulunan dört yalıtılmış örneğe bölünebilir. Bu, tek sunucuyu birkaç küçük modelin veya birkaç kullanıcının paylaştığı durumlarda kullanışlıdır. Bir tarif kartın bir payını belleğinin bir kısmıyla sunuyorsa bu tam kart değil, vGPU veya MIG dilimidir: model adını değil bellek miktarını karşılaştırın.

"×2" ve "×4" tarifler toplamda 192 ve 384 GB sunar, ancak RTX PRO 6000'de NVLink yoktur; kartlar PCIe 5.0 üzerinden veri alışverişi yapar. Çıkarım için bu genellikle sorun olmaz: her kart modelin kendi kopyasını çalıştırabilir, tek bir modeli PCIe üzerinden iki karta bölmek de kabul edilebilir şekilde çalışır. Kartların sürekli gradyan eşitlediği eğitimde ise yavaş bağlantı kazancı yer. Çoklu GPU ile eğitim planlıyorsanız NVLink'li H100 sunucularına bakın.

Sürücü, CUDA ve imaj

Kartın compute capability değeri 12.0'dır. R570 veya daha yeni sürücü dalı ve CUDA 12.8 ya da üstü gerekir. CUDA 12.4'lü eski imajlarda kart ya algılanmaz ya da framework onun için çekirdek bulamaz. Sunucu teslim edildikten sonra nvidia-smi çıktısını, konteynerdeki CUDA sürümünü ve PyTorch'un veya çıkarım motorunuzun bu mimari desteğiyle derlenip derlenmediğini kontrol edin.

Saatlik ödeme mi, aylık mı

Katalogda RTX PRO 6000'li bir sunucu kiralamak ayda yaklaşık 830 ile 5.700 ABD doları arasındadır, tipik bir tarif 1.800 dolar civarındadır. Alt uç tek bir bulut kartı, üst uç ise dört kartlı fiziksel sunuculardır. Tariflerin çoğu saatlik faturalandırılır; deneme çalıştırması, tek seferlik veri işleme veya teslim tarihli bir render için bu daha kârlıdır: yalnızca makinenin çalıştığı saatleri ödersiniz. Kart ayın üçte ikisinden fazlasında meşgul olacaksa aylık fiyatla ve GPU'lu fiziksel sunucular bölümüyle karşılaştırın. Ödemeden önce sağlayıcının kartınızı kendi para biriminizde kabul ettiğini ve veri merkezinin kullanıcılarınıza olan gecikmesini kontrol edin.