NVIDIA A10 GPU sunucuları

NVIDIA A10, 24 GB GDDR6 belleğe ve 150 W güç tüketimine sahip Ampere nesli bir karttır. Tek bir PCIe 4.0 yuvası kapladığı için bulut platformları onu sık yerleştirir ve sanal makineler arasında paylaştırmayı sever. A10 büyük modelleri eğitmek için değil, çıkarım (inference), grafik ve video için tasarlanmıştır: BF16 ve TF32 destekli Tensor çekirdekleri, ışın izleme için RT çekirdekleri ve donanımsal NVENC/NVDEC kodekleri vardır. Yukarıdaki tabloda yalnızca saatlik faturalanan bulut tarifeleri yer alıyor; tek karttan ×4 yapılandırmalara kadar. Aylık fiyat yaklaşık 330 ile 6.200 ABD doları arasında, medyan ise 1.600 dolar civarında.

24 GB belleğe neler sığar

Pratik kural şöyle: FP16 hassasiyette bir model milyar parametre başına yaklaşık 2 GB, 8 bit nicemlemede yaklaşık 1 GB, 4 bitte 0,5–0,6 GB yer kaplar. Bunun üzerine bağlam uzunluğu ve eşzamanlı istek sayısıyla büyüyen KV önbelleği için pay bırakmak gerekir.

• FP16 ile 7–8 milyar parametre. Ağırlıklar 14–16 GB tutar, bağlam ve birkaç paralel istek için yer kalır. A10 kiralamanın başlıca nedeni budur: sohbet botu, talep sınıflandırma, belgelerden veri çıkarma.
• 8 bit ile 13 milyar. Ağırlıklar için yaklaşık 13–14 GB, kalite tam hassasiyete yakın.
• 4 bit ile yaklaşık 30 milyar. Sığar, ancak kısa bağlam ve bir-iki kullanıcıyla: KV önbelleğine az bellek kalır.
• İnce ayar. 7B bir modelin bile tam ince ayarı tek karta sığmaz, ancak 7B için QLoRA sorunsuz çalışır. A10 sıfırdan eğitim için tasarlanmamıştır.
• Görsel, grafik, video. SDXL bellek payıyla çalışır. RT çekirdekleri A10 kartını uzak grafik iş istasyonları, CAD ve görüntüsü akışla iletilen render işleri için uygun kılar; NVENC/NVDEC ise videoyu aynı anda birkaç kalitede dönüştürmek için idealdir.

Kart payı mı, tam A10 mu

Bazı bulut tarifeleri kartın tamamını değil, NVIDIA vGPU yazılımıyla bir payını verir: 1/6, 1/3 veya 1/2 ve buna karşılık gelen bellek, yani 4, 8 veya 12 GB. A10 kartında MIG yoktur; bu yüzden hesaplama birimleri komşularla zaman paylaşımlı kullanılır, bellek ise her sanal makineye sabit olarak atanır. Tablonun başındaki satırlar büyük olasılıkla bu paylardır. Tanımak kolaydır:

• video belleği sütununda 24 GB değerinden az yazar;
• tarifede az vCPU ve az RAM vardır, tam karttaki onlarca çekirdek yerine birkaç çekirdek;
• sunucuda nvidia-smi kartı yalnızca A10 olarak değil, A10-4Q gibi bir profil ekiyle gösterir.

Pay; 3D uygulamalı sanal masaüstü, hafif çıkarım (embedding, konuşma tanıma, 8 GB üzerinde 4 bitlik 7B model) ve tam kart kiralamadan önce deneme için yeterlidir. Model 12 GB üzerinde yer kaplıyorsa, yanıt gecikmesinin komşulardan bağımsız olarak sabit kalması gerekiyorsa ya da ince ayar yapılıyorsa tam A10 gerekir.

Birden fazla kart, sürücüler ve CUDA

A10 kartında NVLink yoktur: ×2 ve ×4 tarifelerde kartlar verileri PCIe 4.0 üzerinden paylaşır. Çıkarım için bu kabul edilebilir. vLLM ve benzeri motorlar modeli kartlara böler; ×2 (48 GB) yaklaşık 30 milyar parametreli bir modeli 8 bitte, ×4 (96 GB) ise 70B bir modeli 4 bitte bağlam payıyla taşır. Çoğu zaman başka bir yöntem daha kârlıdır: her karta ayrı bir 7–8B model kopyası yükleyip istekleri aralarında dağıtmak. NVLink olmadan birden fazla kartta büyük model eğitiminde A10 geride kalır.

A10 kartının compute capability değeri 8.6. Mimari CUDA 11.1 ve sonrasında desteklenir; CUDA 12 ve güncel PyTorch sürümleri için 525 dalı veya daha yeni bir sürücü gerekir. Kart paylarında sanal makinede, ana makinenin sürücü dalıyla eşleşmesi gereken bir vGPU konuk sürücüsü çalışır: NVIDIA sitesinden indirilen normal sürücü orada çalışmayabilir, bu yüzden sağlayıcının imajını kullanın ve sürücüyü kendiniz güncellemeyin. Teslimden hemen sonra nvidia-smi çıktısını kontrol edin: kart modeli ve profili, bellek miktarı, sürücü ve CUDA sürümleri.

Saatlik faturalama ve L4, A100 ile karşılaştırma

Katalogdaki tüm A10 tarifeleri saatlik faturalanır. Medyan tarife çalışma saati başına yaklaşık 2,20 dolar, en ucuz pay ise 0,45 dolar civarına gelir. Saatlik A10 sunucu kiralama, kart bir akşam, toplu bir iş ya da bir test haftası için gerektiğinde kârlıdır: sunucuyu silersiniz, ücret kesilmesi durur. Ayrıntılar saatlik faturalama yazısında. A10 kartlı bir GPU sunucusu aylarca kesintisiz yük altındaysa, toplamı GPU’lu adanmış sunucular bölümündeki aylık fiziksel makineyle karşılaştırın. AB vatandaşlarının kişisel verilerini işliyorsanız GDPR nedeniyle veri merkezinin ülkesini kontrol edin ve düşük gecikme için kullanıcılarınıza yakın bir konum seçin.

En yakın alternatif NVIDIA L4: aynı 24 GB, Ada nesli, yaklaşık 72 W ve FP8 desteği. A10 kartının bellek bant genişliği iki kat fazladır (600 GB/sn’ye karşı 300), bu yüzden hızın belleğe bağlı olduğu metin üretiminde A10 genellikle daha hızlı, L4 ise daha tasarrufludur. 40 veya 80 GB hızlı belleğe, NVLink ve MIG desteğine sahip A100, model 24 GB belleğe sığmadığında ya da tam eğitim yapıldığında tercih edilir; fiyatı belirgin biçimde yüksektir.