NVIDIA T4'lü GPU sunucuları

NVIDIA T4, 2018'de Turing mimarisiyle çıktı ve hâlâ yapay zekâ işleri için en uygun fiyatlı veri merkezi kartı. 16 GB GDDR6 belleği var, yalnızca 70 W çekiyor, tek yuvalı düşük profilli bir kasaya sığıyor ve pasif soğutuluyor: havayı sunucunun fanları üflüyor, bu yüzden veri merkezleri kartı neredeyse her makineye takabiliyor. Fiyatın sebebi de bu: T4'lü sunucu kiralamak genellikle yeni nesil kartlı her tariften belirgin şekilde ucuz. Yukarıdaki tabloda T4'lü bulut VPS'ler ve tek karttan dört kartlı sistemlere kadar dedicated sunucular yer alıyor.

16 GB'a neler sığar

Pratik kural: FP16'da bir model milyar parametre başına yaklaşık 2 GB, 8 bitte yaklaşık 1 GB, 4 bitte 0,5–0,6 GB yer kaplar. Bunun üstüne bağlam uzunluğu ve eşzamanlı istek sayısıyla büyüyen KV önbelleği için pay bırakmak gerekir.

• Dil modelleri. 7–8 milyar parametreli bir model 8 veya 4 bit kuantizasyonla, 3–4 milyarlık bir model tam FP16 hassasiyetle çalışır. Destek sohbet botu, talep sınıflandırma ya da belge tabanı üzerinden yanıt için bu yeterlidir. 13 milyarın üzeri kullanışlı bir bağlamla tek karta sığmaz.
• Konuşma tanıma. Whisper ve benzeri modeller T4 için en iyi işlerden biridir: arama ve podcast transkripsiyonu gerçek zamandan kat kat hızlı ilerler.
• Embedding, OCR ve bilgisayarlı görü. Arama için belge vektörleştirme, taranmış belgelerden metin okuma, nesne tespiti ve görüntü sınıflandırma belleğe rahatça sığar.
• Görüntü üretimi. Stable Diffusion çalışır, ancak her görsel RTX sınıfı kartlardan belirgin şekilde uzun sürer; Flux gibi büyük modeller için 16 GB güçlü sıkıştırma olmadan yetmez.
• Eğitim. Küçük modeller ve 7 milyara kadar LoRA veya QLoRA ince ayarı mümkündür, ama yavaştır. T4 ciddi eğitim için bir kart değildir.

T4'ün yapamadıkları ve imajda neye bakmalı

T4'ün tensör çekirdekleri FP16, INT8 ve INT4 ile çalışır, ancak BF16 ve FP8 desteklemez. Yeni modellerin çoğu BF16 olarak yayımlanır ve T4'te FP16'da çalıştırılmaları gerekir, bu da bazen ek ayar ister. Kartın compute capability değeri 7.5'tir; FlashAttention 2 gibi bazı yeni çıkarım motorları ve dikkat çekirdekleri ise 8.0 veya üstünü, yani Ampere ya da daha yenisini ister. Kiralamadan önce yazılım yığınınızın Turing'i desteklediğini kontrol edin.

Sürücü tarafında sorun yok: güncel CUDA 12.x Turing'i hâlâ destekliyor ve 525 veya daha yeni bir sürücü dalı gerektiriyor. İmajda sürücü ve CUDA sürümünü, Docker kullanıyorsanız NVIDIA Container Toolkit'in kurulu olup olmadığını kontrol edin.

Ayrı bir artı da donanımsal NVENC ve NVDEC kodekleri. T4'lü bir GPU sunucusu birkaç video akışını aynı anda H.264 ve HEVC'ye dönüştürür ve işlemciyi neredeyse hiç yormaz. Turing'de AV1 kodlama yoktur.

Tek kart, kartın bir payı ya da birkaç kart

Bazı bulut tarifeleri T4'ün tamamını değil, vGPU ile bir payını verir: sanal makine video belleğinin bir kısmını, örneğin 4 veya 8 GB'ı, ve işlem gücünün bir kısmını alır. Embedding veya küçük bir konuşma tanıma modeli için bu yeterlidir, ancak 7 milyarlık bir dil modeli için tam kart alın. A100 ve H100'ü yalıtılmış parçalara bölen MIG teknolojisi T4'te yoktur.

"×2" ve "×4" tarifeler, her biri 16 GB olan iki veya dört ayrı kart demektir. T4'te NVLink yoktur, kartlar PCIe 3.0 üzerinden haberleşir, bu yüzden tek bir modeli aralarında bölmek yavaştır. Çok kartlı sunucu, her kartta modelin kendi kopyası ya da kendi iş kuyruğu çalıştığında kârlıdır: böylece çok sayıda paralel isteğe yanıt vermek kolaylaşır.

Fiyatlar, faturalama ve alternatifler

Katalogda T4 tarifeleri ayda yaklaşık 210 ile 4.000 ABD doları arasında; alt uçta tek kartlı bir bulut VPS, üst uçta dört kartlı, bol RAM'li ve çok çekirdekli işlemcili dedicated sunucular var. Tarifelerin çoğu saatlik faturalanır. Kartı günde birkaç saat toplu transkripsiyon ya da gece işleme için kullanıyorsanız saatlik ödeme daha ucuzdur; kesintisiz çalışan bir hizmet için aylık tarifeyi veya dedicated sunucuyu karşılaştırın. Hesabın nasıl yapılacağını saatlik faturalama bölümünde bulabilirsiniz. Ödeme çoğunlukla kartla yapılır; veri merkezinin konumu ise kullanıcılarınıza olan gecikmeyi ve AB kullanıcıları için GDPR konularını belirler.

T4'ün sınırlarına takılırsanız komşu kartlara bakın:

• NVIDIA L4, Ada mimarisindeki doğrudan halef: 24 GB, 72 W, BF16 ve FP8 desteği, AV1 kodlama ve belirgin şekilde daha yüksek hız. Daha pahalıdır, ama T4'ün sınırlamalarının neredeyse tamamını ortadan kaldırır.
• NVIDIA A2 da 16 GB belleğe sahip ve daha da az güç çeker, Ampere mimarisiyle BF16 sunar, ancak işlem gücü T4'ten düşüktür. Yeni motorlarla uyumluluğun önemli olduğu hafif yükler için uygundur.

Hangi karta ihtiyacınız olduğundan henüz emin değilseniz GPU sunucuları genel bakışıyla başlayın. Kiralık T4 makul bir ilk adımdır: daha üst kartlara para ödemeden önce modelinizin gerçekte ne kadar kaynak istediğini ucuza öğrenmenizi sağlar.