NVIDIA A16 GPU sunucuları

NVIDIA A16, çoğu sunucu kartından farklı tasarlanmıştır. Tek bir PCIe kartında Ampere neslinden dört ayrı GPU bulunur; her birinin kendi 16 GB GDDR6 belleği vardır, kart başına toplam 64 GB ve yaklaşık 250 W tüketim. Kart sanal masaüstleri ve video için geliştirildi: tek kart çok sayıda kullanıcı arasında paylaştırılır, donanım kodekleri de onlarca video akışına yeter. Buna karşın dört GPU'nun her birinin işlem gücü mütevazıdır ve bir A10 ya da L4 kartın belirgin şekilde altında kalır. Bu yüzden A16'lı sunucu kiralamak, tek bir büyük modelin hızından çok kullanıcı ve akış sayısının önemli olduğu işlerde mantıklıdır.

Tarifedeki "A16" ne anlama gelir

En büyük tuzak şu: tarife adındaki "A16" neredeyse hiçbir zaman 64 GB'lık kartın tamamı anlamına gelmez. Sanal makineye genellikle dört GPU'dan biri ve onun 16 GB belleği ya da bir GPU'nun belleğinin bir kısmıyla birlikte bir vGPU dilimi düşer. Katalogdaki video belleğinin 2 GB'tan başlamasının nedeni budur: bunlar sinir ağları için değil, masaüstü için düşünülmüş küçük vGPU profilleridir.

• vGPU dilimi (2 ile 8 GB arası). Tek bir GPU'nun bir payı; işlem birimleri komşularla zaman paylaşımlı kullanılır. Uzak masaüstü, çizim görüntüleme ve hafif grafik için uygundur.
• Tam bir GPU (16 GB). Tek bir modelin ya da uygulamanın A16 üzerinde alabileceği en fazla bellek. Küçük modellerle çıkarım (inference) ve video kodlama için seçenek.
• Birden fazla GPU (32, 64 veya 128 GB). İki, dört veya sekiz ayrı işlemci, yani en fazla iki kart. Ortak bir bellek havuzu yoktur: A16'da NVLink de MIG bölümlemesi de bulunmaz. Bir modeli PCIe üzerinden GPU'lara bölmek mümkündür ama yavaştır. Bu tarifeler, bir hizmetin birkaç bağımsız kopyasını çalıştırmak ya da çok sayıda iş istasyonuna hizmet vermek gerektiğinde kârlıdır.

Yapay zekâ işleri: tek GPU'nun 16 GB'ına ne sığar

Bellek için kaba kural: FP16'da milyar parametre başına yaklaşık 2 GB, 8 bitte yaklaşık 1 GB, 4 bitte 0,5–0,6 GB, üstüne de konuşma uzadıkça büyüyen bağlam önbelleği (KV cache). Tek bir A16 GPU'su için bu şu anlama gelir:

• 3–4 milyar parametreli modeller FP16'da, uzun bağlam için pay bırakarak çalışır;
• 7–8 milyarlık modeller 8 veya 4 bitte rahat çalışır; FP16'da ağırlıklar belleğin neredeyse tamamını kaplar ve bağlama yer kalmaz;
• 13–14 milyarlık modeller yalnızca 4 bitte ve kısa bağlamla sığar;
• metin tanıma (OCR), belge araması için embedding, sınıflandırıcılar ve küçük konuşma tanıma modelleri rahat bir yüktür;
• Stable Diffusion ile görsel üretimi çalışır, ancak RTX sınıfı kartlara göre belirgin şekilde yavaştır.

Her GPU'nun bellek bant genişliği düşüktür, bu yüzden küçük bir modelde bile token üretimi ağır ilerler. A16 üzerinde model eğitmek pek anlamlı değildir: 7B bir model için QLoRA teknik olarak 16 GB'a sığar, ama A100'e göre kat kat uzun sürer. Hızlı yanıt vermesi gereken bir sohbet botu ya da 14 milyarı aşan bir model için daha fazla belleği ve işlem gücü olan bir kart seçin.

Sanal masaüstleri, CAD ve video

A16'nın güçlü yanı VDI'dır. NVIDIA vGPU ile tek kart çok sayıda uzak iş istasyonuna hizmet verir: donanım hızlandırmalı grafikli ofis uygulamaları, CAD model ve çizim görüntüleyiciler, hafif 3D. A16'lı GPU sunucusu, uzak iş istasyonlarına ihtiyaç duyan ve herkese güçlü bir bilgisayar almanın pahalı olduğu ekiplere uyar. Ağır render ve karmaşık sahneler için tek bir küçük GPU yetmez.

Video için önemli olan, dört GPU'nun her birinin kendi NVENC kodlayıcılarına ve NVDEC kod çözücülerine sahip olmasıdır. Birkaç GPU'lu bir sunucu, işlemciyi neredeyse hiç yormadan aynı anda çok sayıda akışı H.264 ve HEVC'ye dönüştürür. AV1 kod çözme desteklenir, ancak Ampere neslinde donanımsal AV1 kodlama yoktur.

Sürücüler, vGPU lisansı, ödeme ve fiyatlar

• CUDA. A16'nın compute capability değeri 8.6'dır: CUDA 11.1 veya daha yenisi ve onu destekleyen bir sürücü gerekir. Güncel PyTorch sürümleri ve CUDA 12 konteynerleri çalışır; BF16 ve TF32 desteklenir, FP8 desteklenmez.
• vGPU içindeki sürücü. vGPU'lu bir makinede, sürümü sağlayıcının ana makinesindeki sürücüyle uyumlu olması gereken bir misafir sürücü kullanılır. NVIDIA sitesindeki standart sürücü çalışmayabilir; hangi imajın ya da paketin kullanılacağını sorun.
• vGPU lisansı. NVIDIA vGPU yazılımı ayrıca lisanslanır. Sağlayıcı lisansı fiyata dahil edebilir de etmeyebilir de: ödemeden önce sorun ve profilinizde CUDA hesaplamalarına izin verilip verilmediğini de öğrenin, çünkü bu lisans türüne bağlıdır.
• Saatlik mi aylık mı. Katalogdaki A16 tarifelerinin yalnızca küçük bir kısmı saatlik faturalanır, geri kalanı aylıktır. Masaüstleri ve transcoding genellikle kesintisiz çalışır, bu yüzden onlar için aylık tarife daha ucuzdur. Saatlik tarife test için kullanışlıdır: kendi modelinizi veya video hattınızı çalıştırın, nvidia-smi çıktısına bakın, sonra karar verin. Ayrıntılar saatlik faturalı VPS seçkisinde.

Katalogdaki tüm A16 tarifeleri bulut veya VPS tarifeleridir. Fiyatlar ayda yaklaşık 85 $ ile 5.500 $ arasında, aralığın ortası 690 $ civarındadır. Altta birkaç vCPU'lu vGPU dilimleri, üstte birden fazla GPU'lu, onlarca vCPU'lu ve yüzlerce gigabayt RAM'li sunucular yer alır. Masaüstleri veya veriler AB'deki kullanıcılara aitse, GDPR ve ekibinize olan gecikme açısından veri merkezinin ülkesini kontrol edin. Yalnızca toplam fiyatı değil, bu paraya ne kadar video belleği ve kaç tam GPU aldığınızı da karşılaştırın.