VPS para web scraping

Um scraper precisa de um servidor que funcione 24 horas por dia, não dependa da internet de casa e não esbarre em limite de tráfego. Mas a configuração certa depende muito de como você coleta os dados. Antes de alugar um VPS, defina a qual dos dois tipos o seu scraper pertence.

Scraper HTTP ou navegador headless

Scrapers de requisições diretas — Scrapy, aiohttp, httpx, clientes em Go — baixam HTML ou JSON e fazem o parsing. Passam a maior parte do tempo esperando a resposta da rede, por isso um único núcleo sustenta centenas de requisições assíncronas em paralelo, e 1–2 GB de memória bastam. Quem pesa no processador é o parsing: lxml e expressões regulares em milhares de páginas por minuto esquentam a CPU de forma visível. Para scripts assim, serve também um VPS para Python comum.

Navegadores headless — Playwright, Puppeteer, Selenium — são necessários quando o conteúdo é montado por JavaScript. Cada aba do Chromium consome centenas de megabytes de memória e uma boa fatia de um núcleo. Calcule os recursos pelo número de abas simultâneas: com 2 núcleos e 4 GB é razoável manter algumas, e para dezenas você vai precisar de 8–16 GB e uma quantidade de núcleos à altura.

Ao rodar o Chromium no Docker, aumente o /dev/shm (parâmetro --shm-size): com os 64 MB padrão, as abas travam em páginas pesadas.

Tráfego e porta

Scraping é, antes de tudo, tráfego de entrada, e é fácil subestimar o volume: uma página com imagens e scripts pesa megabytes, e em um dia são centenas de milhares delas. Escolha um plano com tráfego ilimitado — esse filtro já está ativado nesta página, e planos parecidos estão reunidos na seção VPS com tráfego ilimitado. Confira a velocidade da porta: «ilimitado» a 100 Mbit/s e a 1 Gbit/s são coisas bem diferentes. No modo headless, desative o carregamento de imagens, fontes e vídeos se não precisar deles.

Endereços IP

Um servidor tem um IPv4, e com coleta intensa os sites logo limitam a frequência de requisições vindas dele. IPv4 adicionais são cobrados à parte pelos provedores, e nem sempre estão disponíveis. Muitos planos incluem uma sub-rede IPv6 /64, mas ela só serve para sites que aceitam IPv6 — veja a seleção VPS com IPv6. Também dá para subir proxies próprios no seu servidor; sobre isso, veja a página VPS para servidor proxy.

Escolha a localização conforme os sites-alvo: um servidor no mesmo país ou região dos sites responde mais rápido e vê o mesmo conteúdo que os usuários locais.

O que não fazer

1. Não sobrecarregue sites alheios até derrubá-los: respeite pausas razoáveis e as regras de cada site. As reclamações dos donos chegam ao provedor, que pode desligar o seu servidor.
2. Não colete dados pessoais sem base legal — isso gera uma responsabilidade jurídica à parte.
3. Não guarde os resultados só no servidor. Exporte-os para um banco de dados ou armazenamento e faça backups.

Na tabela acima os preços já estão convertidos para uma única moeda, e na coluna «Pagamento» você vê quais formas cada provedor aceita.