NVIDIA H100'lü GPU sunucular

NVIDIA H100, büyük modellerin eğitimi ve çıkarımı için Hopper nesli bir hızlandırıcıdır. H100'lü sunucu kiralamayı, A100 artık yeterince hızlı olmadığında ve model ya da veri seti kart başına 80 GB hızlı bellek gerektirdiğinde tercih edersiniz. Yukarıdaki tabloda bir, iki veya dört kartlı bulut planları ve dedicated sunucular yer alıyor; katalogdaki aylık fiyatlar kabaca 1.350 ile 5.400 $ arasında, ortası yaklaşık 3.000 $. Planların çoğu saatlik faturalandırılabiliyor.

SXM, PCIe ve NVL: tek isim altında üç farklı H100

H100 adıyla birbirinden oldukça farklı kartlar satılır ve planlarda çoğu zaman yalnızca "H100 80GB" yazar.

• H100 SXM5, 80 GB HBM3. Yaklaşık 3,35 TB/s bellek bant genişliği ve 700 W'a kadar güç. Kartların NVLink ile 900 GB/s'ye kadar bağlandığı HGX kartlarına takılır. Çok GPU'lu eğitim için en hızlı seçenektir.
• H100 PCIe, 80 GB HBM2e. Yaklaşık 2 TB/s ve 350 W, PCIe yuvasına takılan standart bir kart. İki kart NVLink köprüsüyle bağlanabilir, ancak bu bir seçenektir, kural değil. SXM'den yavaştır ama daha ucuzdur ve bulutta daha yaygındır.
• H100 NVL, 94 GB HBM3. Daha fazla belleğe sahip, NVLink köprüleriyle çift olarak çalışmak üzere tasarlanmış bir PCIe kart. Kart başına ek 14 GB, çıkarımda uzun bağlamda işe yarar.

Planda hangisinin olduğunu anlamak için adında SXM, PCIe veya NVL arayın; 700 W güç SXM'ye, 350–400 W PCIe sürümüne işaret eder. Çok kartlı yapılandırmalarda NVLink olup olmadığını ve hangi kartlar arasında olduğunu sorun: köprüsüz dört PCIe kart verileri yalnızca veri yolu üzerinden paylaşır ve bu, modelin bölündüğü eğitimi belirgin şekilde yavaşlatır. Sunucu açıldıktan sonra kartı nvidia-smi ile (ad ve güç limiti), kartlar arası bağlantıları nvidia-smi topo -m ile kontrol edin.

80 GB'a neler sığar

Kaba kural: FP16'da bir model milyar parametre başına yaklaşık 2 GB, 8 bitte yaklaşık 1 GB, 4 bitte 0,5–0,6 GB yer kaplar; bunlara bağlam uzunluğu ve eşzamanlı istek sayısıyla büyüyen KV önbelleği için pay eklenir.

• FP8'de 70B modeller orta uzunlukta bağlamla tek bir 80 GB karta sığar. Uzun bağlam ve çok kullanıcı için H100 NVL veya iki kart daha rahattır.
• Aynı 70B FP16'da yaklaşık 140 GB tutar ve modeli bölerek (tensor parallel) iki kart gerektirir.
• 4 bitte 70B'ye kadar modellerde tek kartta bağlam ve paralel istekler için bol yer kalır.
• 7–13B modellerin tam fine-tuning'i bir veya iki karta sığar; gradyanlar ve optimizer durumu ağırlıkların birkaç katı bellek ister.
• 70B için LoRA ve QLoRA birkaç kartta çalışır, küçük batch ile QLoRA bazen tek kartta da olur.

Önceki nesle göre en önemli fark FP8 destekli Transformer Engine'dir: destekleyen framework'lerde transformer çıkarımı ve eğitimi FP16'ya göre belirgin şekilde hızlı çalışır, model de yarı yarıya bellek kaplar. Görsel üretimi ve render için H100 gereğinden güçlüdür: bu işler L40S veya RTX sınıfı kartlarda daha ucuza çıkar.

MIG, sürücüler ve CUDA

H100 MIG'i destekler: kart, her biri kendi bellek ve hesaplama payına sahip en fazla yedi yalıtılmış parçaya bölünebilir. Bulutta kesirli GPU bu şekilde satılır. Küçük bir modelin çıkarımı için ekonomiktir, ancak eğitim ve büyük modeller tam kart ister; planda yalnızca ada değil, VRAM miktarına da bakın.

H100'ün compute capability değeri 9.0'dır. CUDA 11.8 veya üstü (12.x önerilir) ve uyumlu bir NVIDIA veri merkezi sürücüsü gerekir. İmajda sürücü, CUDA sürümü ve PyTorch derlemesini kontrol edin: A100 veya V100 için hazırlanmış eski imajlar çalışır, ama FP8 olmadan ve hız kaybıyla.

Saatlik mi aylık mı

Kart pahalı olduğu için faturalandırma modeli toplam tutarı küçük GPU'lara göre daha çok etkiler. Saatlik planlar deneyler, hiperparametre aramaları ve tek seferlik çalıştırmalar için uygundur: sunucuyu başlatın, eğitin, checkpoint'i harici depolamaya kaydedin, sunucuyu silin. Ayrıntılar saatlik faturalandırma bölümünde. H100'e kullanıcılara günün her saati yanıt veren bir servis ya da haftalarca süren eğitim için ihtiyacınız varsa aylık plan veya dedicated GPU sunucu genellikle daha ucuza gelir.

Birden fazla sunucuda eğitim, düğümler arasında InfiniBand ya da başka hızlı bir ağ gerektirir. Katalog bunu her zaman belirtmez; ödemeden önce sorun. Veri merkezinin konumuna da bakın: AB kullanıcılarının kişisel verilerinde GDPR, etkileşimli servislerde kullanıcılarınıza olan gecikme önemlidir.

FP8'e ihtiyacınız yoksa ve bütçe sınırlıysa A100 ile karşılaştırın: daha ucuzdur ve onda da 80 GB vardır, ancak daha yavaştır ve FP8 desteği yoktur. Daha yeni H200 141 GB sunar ve model 80–94 GB'a sığmadığında anlamlıdır.