Выделенные серверы с GPU

Выделенный сервер с видеокартой — это физическая машина, в которой стоят одна или несколько карт, и всё это железо работает только на вас. Между моделью и GPU нет гипервизора, соседи не делят с вами шину PCIe, диски и канал, а настройки BIOS, драйвера и системы остаются в ваших руках. В таблице выше собраны такие конфигурации: от одиночных рабочих карт до сборок на несколько ускорителей. Если задача короткая и нужна почасовая оплата, сравните облачные тарифы в общем разделе GPU-серверов.

Когда выделенный GPU-сервер выгоднее облачного

• Карта загружена почти круглые сутки. Почасовой облачный GPU хорош, пока он включается на вечер. Когда сервис отвечает пользователям без перерыва, месячная аренда выделенного сервера с GPU обычно обходится дешевле той же нагрузки, посчитанной по часам.
• Обучение идёт неделями. Длинный прогон обучения или дообучения не любит прерываний. На своей машине его не остановят из-за нехватки мощностей у провайдера, а чекпоинты лежат на локальном диске, а не в платном внешнем хранилище.
• Данные не должны покидать машину. Медицинские снимки, переписка клиентов, внутренние документы компании: на выделенном сервере диски не делятся с другими клиентами, и проще показать аудитору, где физически лежат данные и кто к ним имеет доступ.
• Лицензии привязаны к железу. Часть профессионального ПО для рендера, CAD и симуляций лицензируется на машину или на физическую карту. Постоянный сервер с одними и теми же GPU избавляет от переактивации после каждого перезапуска виртуальной машины.
• Нужно несколько карт с понятной топологией. Для распределённого обучения важно, как именно карты связаны между собой. В облаке схема соединения часто скрыта, а у выделенного сервера её можно уточнить заранее и проверить после выдачи.

Если вычисления на видеокарте не нужны, а нужна просто мощная физическая машина под базы или виртуализацию, удобнее смотреть общий каталог выделенных серверов: там больше конфигураций и ниже цены.

Карта, память и связь между картами

Первое, что стоит прочитать в строке тарифа, — модель карты и объём её памяти. Рабочие RTX A4000 и A5000 рассчитаны на долгую нагрузку в стойке и тише в работе, RTX 3090 и 4090 дают много вычислений за свои деньги, A100 и H100 нужны там, где модель не помещается в 24 ГБ или обучение идёт на больших пакетах. Старые Tesla K80 и P40 встречаются в недорогих конфигурациях: памяти у них много, но они не поддерживают свежие версии CUDA и современные форматы вычислений, поэтому подходят скорее для экспериментов, чем для рабочей нагрузки. Отдельно обратите внимание на маломощные карты вроде NVS или младших Quadro: в серверах они часто стоят только ради вывода изображения и для нейросетей почти бесполезны.

Запись «2×» или «8×» в названии означает число карт, а не объём памяти одной карты. Две карты по 24 ГБ не равны одной на 48 ГБ: модель придётся делить, и скорость обмена между картами начинает решать. Карты, связанные мостом NVLink, обмениваются данными в разы быстрее, чем через шину PCIe, а в многокарточных платформах класса HGX все ускорители соединены между собой напрямую. Спросите у хостера, сколько линий PCIe получает каждая карта и висят ли они на одном процессоре: если половина карт подключена через второй сокет, обмен между ними идёт медленнее.

Процессор, диски, питание и сеть

• CPU и оперативная память. Процессор готовит данные, распаковывает изображения и токенизирует тексты. На каждую карту закладывайте несколько физических ядер и оперативной памяти не меньше суммарной видеопамяти, иначе ускорители ждут данных.
• NVMe под датасеты. Большой набор данных читается с диска на каждой эпохе. Локальный NVMe заметно сокращает время обучения по сравнению с SATA-дисками и сетевыми томами.
• Питание и охлаждение. Одна мощная карта потребляет сотни ватт, а сервер на восемь ускорителей — как небольшая серверная стойка. Не каждый дата-центр может выделить столько мощности на один юнит, поэтому многокарточные серверы выпускают малыми партиями и они часто значатся в таблице как «нет в наличии».
• Порт и трафик. Веса моделей и датасеты весят сотни гигабайт. Гигабитный порт без жёсткого лимита трафика избавит от ожидания при первой загрузке и регулярной выгрузке чекпоинтов.
• Установка и минимальный срок. У GPU-серверов чаще, чем у обычных, бывает плата за подготовку и минимальный срок аренды от месяца до года. Считайте стоимость за весь период, а не одну месячную строку.
• Срок выдачи. Серверы из наличия выдают за часы, конфигурации с дефицитными картами собирают под заказ, и ожидание растягивается на дни или недели.

Что проверить перед оплатой

1. Образ с драйвером. Уточните, ставит ли хостер систему с драйвером NVIDIA и CUDA или вы получаете чистую ОС. Сверьте версию драйвера с требованиями своего фреймворка и контейнеров.
2. Удалённая консоль. KVM или IPMI позволяет переустановить систему и починить загрузку после неудачного обновления драйвера, не дожидаясь поддержки. Для GPU-сервера это особенно важно: сбой драйвера иногда оставляет машину без сети.
3. Замена вышедшей из строя карты. Видеокарты под постоянной нагрузкой выходят из строя чаще дисков. Узнайте, за какой срок меняют карту, есть ли запасные на месте и продлевают ли аренду на время простоя.
4. Расположение данных. Проверьте страну дата-центра и условия хранения, если сервер будет обрабатывать персональные данные или коммерческую тайну. От локации зависят и требования закона к обработке данных, и скорость загрузки датасетов.
5. Тест после выдачи. В первые часы прогоните реальную задачу под полной нагрузкой и следите за температурой и частотами карт: перегрев и снижение частот видны сразу, а претензию проще предъявить в начале срока.

Если вы только выбираете между классами серверов, начните с руководства по выбору VPS. А для небольшой локальной модели без жёстких требований к скорости иногда хватает обычного сервера без видеокарты из подборки VPS для Ollama.