Tüm ürünler 
Veri kazıma için VPS: veri toplamada neler önemli
Bir kazıyıcının (parser) gece gündüz çalışan, ev internetine bağlı olmayan ve trafik sınırına takılmayan bir sunucuya ihtiyacı vardır. Ancak doğru yapılandırma, verileri tam olarak nasıl topladığınıza bağlıdır. VPS kiralamadan önce kazıyıcınızın iki türden hangisine girdiğini belirleyin.
HTTP kazıyıcı mı, headless tarayıcı mı
Doğrudan isteklerle çalışan kazıyıcılar — Scrapy, aiohttp, httpx, Go istemcileri — HTML veya JSON indirip ayrıştırır. Zamanlarının çoğunu ağdan yanıt beklemekle geçirirler; bu yüzden tek çekirdek yüzlerce paralel asenkron isteği kaldırır ve 1–2 GB bellek yeterlidir. İşlemciyi yoran ayrıştırmadır: dakikada binlerce sayfada lxml ve düzenli ifadeler CPU'yu belirgin şekilde ısıtır. Bu tür betikler için sıradan bir Python için VPS de iş görür.
Headless tarayıcılar — Playwright, Puppeteer, Selenium — içeriğin JavaScript ile oluşturulduğu yerlerde gerekir. Her Chromium sekmesi yüzlerce megabayt bellek ve bir çekirdeğin hatırı sayılır bir kısmını tüketir. Kaynakları eşzamanlı sekme sayısına göre hesaplayın: 2 çekirdek ve 4 GB ile birkaç sekme makuldür, onlarcası için 8–16 GB ve buna uygun sayıda çekirdek gerekir.
Chromium'u Docker'da çalıştırırken /dev/shm boyutunu artırın (--shm-size parametresi): varsayılan 64 MB ile sekmeler ağır sayfalarda çöker.
Trafik ve port
Veri kazıma her şeyden önce gelen trafiktir ve hacmi kolayca hafife alınır: resimli ve betikli bir sayfa megabaytlarca tutar, bir günde ise yüz binlercesi birikir. Sınırsız trafikli bir paket seçin — bu filtre sayfada zaten açık, benzer paketler sınırsız trafikli VPS bölümünde toplandı. Port hızını da sorun: 100 Mbit/s'de «sınırsız» ile 1 Gbit/s'de «sınırsız» aynı şey değildir. Headless modda gerekmiyorsa resim, yazı tipi ve video yüklemeyi kapatın.
IP adresleri
Bir sunucu bir IPv4 demektir ve yoğun veri toplamada siteler bu adresten gelen istek sıklığını hızla sınırlar. Ek IPv4 adresleri sağlayıcılarda ayrıca ücretlendirilir ve her zaman verilmez. Pek çok paket bir IPv6 /64 alt ağı sunar, ancak bunu yalnızca IPv6 kabul eden sitelerde kullanabilirsiniz — IPv6'lı VPS seçkisine göz atın. Harici proxy'leri de kendi sunucunuzda kurabilirsiniz; bununla ilgili proxy sunucusu için VPS sayfasına bakın.
Konumu hedef sitelere göre seçin: pek çok platform farklı ülkelerin IP'lerine farklı içerik ve fiyatlar gösterir, hedef siteye yakın sunucu ise daha hızlı yanıt alır.
Yapılmaması gerekenler
- Başkalarının sitelerini çökene kadar yüklemeyin: makul aralar verin ve platformun kurallarına uyun. Site sahiplerinin şikâyetleri sağlayıcıya gider ve sağlayıcı sunucuyu kapatabilir.
- Yasal bir dayanak olmadan kişisel veri toplamayın — bunun ayrı bir hukuki sorumluluğu vardır.
- Sonuçları yalnızca sunucuda tutmayın. Bir veritabanına veya depolamaya aktarın ve yedek alın.
Yukarıdaki tabloda fiyatlar zaten rubleye çevrilmiştir; «Ödeme» sütununda her sağlayıcının kabul ettiği yöntemler görülür.