Резидентные прокси vs Серверные прокси: подробное сравнение

Прокси используются для большого количества задач: парсинг сайтов, очистка трафика, построение альтернативных маршрутов и обход блокировок, балансировка нагрузки, интеграция софта и web-сервисов между собой, и т.п. Но у каждой задачи свои технические особенности и нюансы. Соответственно, под каждую ситуацию применения подходят определённые типы прокси.

Одними из самых распространённых типов прокси можно назвать серверные (датацентровые), а также резидентные прокси.

В этом материале расскажем о резидентных и серверных прокси, а также сравним их между собой в деталях.

Краткое описание прокси-серверов

Резидентные прокси – это прокси-серверы, работающие на базе IP-адресов обычных пользователей, тех самых, что выдаются локальными провайдерами (провайдерами домашнего Интернета).

Серверные, они же датацентровые прокси – это прокси-серверы, работающие на базе IP-адресов, принадлежащих дата-центрам и провайдерам хостинга.

Вроде бы различие не самое принципиальное, но это до тех пор, пока не начнёшь погружаться глубже в детали.

Сначала расскажем о каждом типе прокси по-отдельности, чтобы была понятнее предметная база, а затем сравним их между собой.

Резидентные прокси-серверы

Резидентные прокси – это прокси, IP-адреса которых определяются как адреса провайдеров домашнего интернета. 

В большинстве развитых стран мира IP-адресов протокола 4 версии осталось мало, поэтому операторы локального интернета часто ротируют имеющийся в их распоряжении пул IP-адресов и выделяют своим клиентам не статические, а динамические адреса.

Ротируемые IP могут быть «белыми», когда каждый клиент получает полноценный IP-адрес на время активной сессии, и «серыми», когда один единственный IP-адрес провайдер выдаёт сразу нескольким своим клиентам, обратная маршрутизация при этом реализуется специальными программно-аппаратными комплексами.

В любом случае, статичный жилой IP – это большая редкость. Обычно это специальная платная услуга, когда пользователь может закрепить за собой конкретный адрес на продолжительное время (от месяца и более).

Как работают резидентные прокси-серверы

Чисто технически резидентные прокси могут работать достаточно длительное время без отключения, но тогда провайдеру прокси нужно заключать хотя бы номинальный договор с пользователем, чтобы тот запускал у себя прокси-сервер и не останавливал его.

Реже провайдеры прокси сами арендуют IP-адреса у провайдеров домашнего интернета, тогда они могут распоряжаться такими IP, как статичными адресами.

Это редкая и не самая эффективная ситуация, так как резидентные прокси как раз интересны за счёт возможности своей ротации.

Как работают ротируемые резидентные прокси:

Ситуация 1. Резидентные прокси с прямым подключением.

На клиентских устройствах устанавливается специальный софт (прокси-сервер), который отвечает за перенаправление запросов. Такой софт может связываться с материнским сервером, чтобы сообщить о своей доступности, а также о своём IP-адресе и свободных IP-портах.

В итоге клиенты прокси-провайдера получают список прямых IP-адресов и портов, к которым могут подключиться. Дальнейшая ротация осуществляется силами клиента: он сам следит за банами выданных ему IP-адресов и ротирует их по мере выбывания (а мы помним, что в норме резидентные прокси долго не живут, так как владелец устройства в любой момент может выключить его).

Ситуация 2. Резидентные прокси с обратной связью.

Это более удобный вариант. Клиентское ПО (прокси-сервер, запущенный на устройстве пользователя) не просто сообщает свой адрес и номер порта, но и всегда находится на связи с материнским сервером.

Клиенты прокси-провайдера получают в доступ прокси-порт. Это специальный промежуточный прокси, который принимает запросы от клиента и переадресовывает их внутри всей прокси-сети. Прокси-порт остаётся статичным. Но так как корневой прокси знает обо всех активных жилых прокси-серверах, он может управлять их коннектами – балансировать нагрузку и подбирать выходные узлы на основе определённой логики, например, из конкретного города или с привязкой к провайдеру связи.

Итого, клиент подключается к прокси-порту, тот в свою очередь является частью большой прокси-сети, запросы маршрутизируются внутри этой сети и выходят там, где определит супер-прокси. Логику маршрутизации частично может определять клиент, а частично алгоритмы супер-прокси.

Естественно, резидентные прокси с обратной связью наиболее интересны для бизнес-задач (парсинг, мониторинг сайтов, тестирование и т.п.), так как клиент может менять выходные узлы хоть под каждый запрос, чтобы избежать блокировок.

И чем больше прокси-сеть, тем лучше, так как увеличивается число IP в конкретных локациях, повышается точность таргетинга и т.п.

Преимущества резидентных прокси

• IP-адреса «живых» пользователей интернета существенно повышают степень доверия со стороны систем защиты.
• Локальные провайдеры связи, владеющие резидентными IP-адресами, обеспечивают стабильные и широкие каналы связи (заметно лучше, чем в случае мобильных сетей).
• Резидентные прокси при определённых обстоятельствах могут работать как статичные.
• Чем больше сеть резидентных прокси, тем удобнее ротация, и тем выше качество таргетинга (можно выбрать адреса не из конкретной страны, а из определённого региона/штата и даже города).
• Стоимость трафика при аренде резидентных прокси выходит заметно дешевле, чем в случае с арендой мобильных прокси.
• Резидентные прокси идеальны для бизнес-задач, когда нужно обойти блокировки, повысить свою анонимность и распараллелить большое число одновременных запросов к одному и тому же целевому сайту (за счёт этого можно сэкономить много времени).

Недостатки

• Скорость коннекта всё равно уступает выделенным серверам. Оборудование пользователей локальных операторов не может соперничать с высокопроизводительными аппаратными серверами. Более того, серверы чаще всего имеют прямой доступ к магистральным каналам Интернета, а там скорости не по несколько мегабит, речь о гигабитах и терабитах в секунду.
• Даже выделенные резидентные прокси не бывают доступными 100% времени. Всегда существует вероятность дисконнекта. Ротируемые резидентные прокси вообще отключаются часто и надолго (этот эффект как раз и нивелируется ротацией).
• Если прокси очень много, то нужны специальные инструменты для их контроля и замены. По этой причине мы рекомендуем использовать ротируемые прокси с обратной связью, чтобы супер-прокси сам балансировал нагрузку и оперативно заменял адреса, выбывшие из сети.

Подробный материал о резидентных прокси (их особенности и ситуации применения)

Серверные прокси (датацентровые)

Серверные прокси – это прокси, IP-адреса которых определяются как адреса компаний, оказывающих услуги хостинга (аренды вычислительных мощностей в центрах обработки данных).

У таких компаний может быть даже официальный статус локального регистратора (LIR).

Так как дата-центры являются узловыми элементами сети Интернет, они почти все имеют широкий канал доступа (обычно это подключение к магистральным каналам или к точкам распределения трафика, это такие места, где сходится сразу несколько магистральных каналов), а их рабочее оборудование – специальные высокопроизводительные аппаратные серверы.

Как работают серверные прокси

Серверные прокси работают внутри аппаратных или виртуальных серверов. Дата-центр распределяет имеющийся в его распоряжении пул IP-адресов между своими клиентами, по аналогии с тем, как это делают провайдеры домашнего интернета. Но есть одно «но» – все подключения и коммутации происходят внутри ЦОДа (центра обработки данных). Плюс, к ЦОДУ обращаются пользователи клиентов: посетители сайтов, клиенты web-сервисов, онлайн-приложений и т.п. Получается, что сам ЦОД общается только с конечными потребителями и редко когда направляет трафик к внешним сайтам.

Сама схема работы мало чем отличается от работы резидентных прокси:

• Внутри виртуального или выделенного сервера запускается специальное ПО (прокси).
• Прокси принимает запросы и перенаправляет их от своего имени.

Серверные прокси могут работать самостоятельно или в составе масштабной прокси-сети, в том числе по схеме с обратной связью. В этом случае они мало чем отличаются от ротируемых резидентных прокси.

Преимущества датацентровых прокси

• Работа внутри выделенных (аппаратных) или виртуальных серверов гарантирует высокую стабильность и качественную изоляцию от других клиентов. Серверные адреса идеальны для организации статичных прокси.
• Широкие каналы доступа (зачастую есть прямой выход на магистральных провайдеров Интернета). Поэтому трафик либо безлимитный, либо недорогой.
• При большой ёмкости прокси-сети она может работать по аналогии с ротируемыми резидентными прокси.
• Так как ЦОДы есть во всех крупных городах, то можно привязываться к географическому положению и менять его по своему усмотрению.

Недостатки

• Принадлежность IP-адреса легко установить. А так как серверные IP не связаны с конечными клиентами, то системы защиты банят серверные прокси без последствий для себя.
• Существуют специальные спам-базы и чёрные списки, там как раз 99% датацентровых IP. Поэтому при подключении к целевому сайту можно выяснить, что выходной узел уже заблокирован или часто вызывает показ капчи (решение капчи существенно повышает стоимость парсинга).
• Чтобы отсеивать неработоспособные серверные IP, нужен специальный софт или доступ к базе проверенных (белых/чистых IP).
• Так как ЦОДы есть не во всех городах, то и качество таргетинга будет низким. Обычно до уровня страны.
• Ротация серверных IP возможна только тогда, когда у провайдера есть доступ к большой базе адресов.

Обратите внимание, наши серверные прокси уже проверены на качество, а количество доступных адресов обеспечивает оперативную ротацию хоть под каждый новый запрос. Соответственно, большинство «минусов» мы уже обошли. Серверные прокси от Froxy станут идеальным решением для несложных задач парсинга. С ними можно будет существенно сэкономить, так как трафик здесь обходится дешевле.

Подробный материал о серверных прокси (их особенности и ситуации применения)

Сравнение: Серверные прокси vs Резидентные прокси

И вот мы подошли к самому главному – к сравнению. Разделим сопоставление серверных и резидентных прокси по ключевым характеристикам для наглядности и лучшего понимания.

Скорость

Самыми быстрыми и стабильными всегда были и будут оставаться серверные прокси. Это связано с тем, что они работают на базе высокопроизводительного оборудования дата-центров. Плюс, здесь же под рукой широкие каналы доступа с обязательным дублированием (за эту инфраструктуру как раз и платят клиенты ЦОДов).

Резидентные прокси тоже могут показывать хорошие скорости, особенно, если канал не занят чем-то посторонним. Для просмотра видео и для скачивания тяжёлого контента вполне достаточно.

Тут стоит оговориться, что реальный коннект всецело будет зависеть от текущей загрузки конкретного узла. Иными словами, даже магистральные каналы не резиновые и их тоже можно перегрузить.

Анонимность и безопасность

Анонимность и безопасность подключения к прокси-серверу всегда зависит от настроек и возможностей ПО. Но есть нюансы, которые зависят от типа прокси:

• Серверные IP легче отследить и заблокировать из общего трафика. Поэтому их работа может быть связана с рисками – с показом капчи и с пристальным вниманием систем защиты (при любом неверном движении IP будет блокироваться).
• Резидентные прокси банятся неохотно, так как адреса принадлежат потенциальной целевой аудитории (физическим пользователям). Рисков здесь меньше.

Экономическая эффективность

Расходы на прокси всегда нужно считать применительно к конкретному проекту.

Если сильно упростить, то серверные прокси выглядят заметно дешевле, чем те же резидентные. У них высокая стабильность подключений и хорошая скорость. Если тарификация по трафику, то каждый гигабайт здесь получается самый недорогой.

Если серверные IP ротируются под каждый запрос или по времени, то они мало чем отличаются от резидентных прокси. Чем не повод сэкономить?

Но если вам нужно пропарсить сложный целевой сайт, который умеет определять автоматический трафик, то внезапно можно выяснить, что большое количество подключений блокируется или приводит к показу капчи. Решение каждой новой капчи стоит денег, соответственно, бюджет парсинга быстро увеличивается, Объём трафика тоже растёт, так как страницы грузятся по 2 раза (сначала с капчей, а потом без неё), увеличивается и время парсинга.

В этом случае применение резидентных прокси выглядит более логичным, так как степень доверия к «жилым» адресам выше.

Вывод: для простых сайтов и систем защиты лучше выбирать качественные серверные прокси (те, что уже проверены по спам-базам). Для сложных и масштабных проектов лучше выбирать резидентные прокси.

Сводная таблица сравнения

Когда следует использовать серверные, а когда резидентные прокси?

Из-за своих особенностей серверные прокси даже с доступом к большому пулу IP и с оперативной ротацией подходят только для операций несложного парсинга – там, где нет продвинутых механизмов защиты. Обязательно нужно выбирать того провайдера прокси, который может гарантировать качество своих адресов.

Основная проблема в том, что с определёнными «сложными» целевыми сайтами серверные прокси буквально не работают из коробки – каким бы большим ни был пул.

Но если продвинутых механизмов защиты нет, то ротируемые серверные прокси – идеальный способ сэкономить бюджет, так как трафик у них самый недорогой.

Если у вас сложный сайт с продвинутыми системами защиты, то лучшим выходом станут резидентные прокси. Они дороже и не такие стабильные, как серверные, но у них больше пул и точнее таргетинг. А ещё у них отличная степень доверия со стороны антифрод-алгоритмов, так как IP-адреса принадлежат реальным частным пользователям (при желании в своих скриптах парсинга можно даже эмулировать поведение юзеров, если задействовать такие библиотеки, как Chromepd и безголовые браузеры).

Наш материал о том, как избегать блокировок при парсинге.

Итоги и рекомендации

Каким бы ни был тип прокси-сервера, очень многое будет зависеть от качества самого адреса. Недавно мы запустили услугу аренды серверных прокси. Ротация и таргетинг здесь настраиваются почти как в резидентных прокси. Froxy предлагает большой пул серверных IP высокого качества. Пакет трафика тоже можно переносить на следующий месяц. В итоге вы получаете отличную возможность сэкономить в задачах простого парсинга. А для всестороннего тестирования услуг у нас есть специальный триал-пакет.