VPS для парсинга: что важно для сбора данных
Парсеру нужен сервер, который работает круглосуточно, не зависит от домашнего интернета и не упирается в трафик. Но конфигурация сильно зависит от того, как именно вы собираете данные. Прежде чем арендовать VPS, определите, к какому из двух типов относится ваш парсер.
HTTP-парсер или headless-браузер
Парсеры на прямых запросах — Scrapy, aiohttp, httpx, Go-клиенты — скачивают HTML или JSON и разбирают его. Большую часть времени они ждут ответа сети, поэтому одно ядро держит сотни параллельных асинхронных запросов, а памяти хватает 1–2 ГБ. Процессор нагружает разбор: lxml и регулярные выражения на тысячах страниц в минуту заметно греют CPU. Для таких скриптов подойдёт и обычный VPS для Python.
Headless-браузеры — Playwright, Puppeteer, Selenium — нужны там, где контент строится JavaScript. Каждая вкладка Chromium съедает сотни мегабайт памяти и заметную долю ядра. Считайте ресурсы от числа одновременных вкладок: на 2 ядра и 4 ГБ разумно держать несколько штук, а для десятков нужны 8–16 ГБ и соответствующее число ядер.
При запуске Chromium в Docker увеличьте /dev/shm (параметр --shm-size) — со стандартными 64 МБ вкладки падают на тяжёлых страницах.
Трафик и порт
Парсинг — это в первую очередь входящий трафик, и его объём легко недооценить: страница с картинками и скриптами весит мегабайты, а за сутки их набираются сотни тысяч. Берите тариф с безлимитным трафиком — этот фильтр уже включён на странице, а похожие тарифы собраны в разделе VPS с безлимитным трафиком. Уточните скорость порта: «безлимит» на 100 Мбит/с и на 1 Гбит/с — разные вещи. В headless-режиме отключайте загрузку картинок, шрифтов и видео, если они не нужны.
IP-адреса
Один сервер — это один IPv4, и при активном сборе сайты быстро ограничивают частоту запросов с него. Дополнительные IPv4 у хостеров стоят отдельно и выдаются не всегда. Многие тарифы дают IPv6-подсеть /64, но пользоваться ею можно только на сайтах, которые принимают IPv6, — смотрите подборку VPS с IPv6. Внешние прокси тоже можно поднять на своём сервере, об этом страница VPS для прокси-сервера.
Локацию выбирайте по целевым сайтам: российские площадки иногда отдают другой контент или ограничивают зарубежные IP, а западные сервисы — наоборот.
Чего не стоит делать
- Не нагружайте чужие сайты до отказа: соблюдайте разумные паузы и правила площадки. Жалобы владельцев сайтов приходят хостеру, и тот может отключить сервер.
- Не собирайте персональные данные без законных оснований — это отдельная юридическая ответственность.
- Не храните результаты только на сервере. Выгружайте их в базу или хранилище и делайте резервные копии.
В таблице выше цены уже пересчитаны в рубли, а в колонке «Оплата» видно, какие способы принимает каждый хостер.