Три корневые причины:
Главная причина большинства блокировок — неправильный тип прокси. Серверные диапазоны принадлежат облачным провайдерам, и антибот-системы помечают их мгновенно: обычный человек не сидит в сети с сервера AWS.
Стоит сменить тип IP, и остаются лишь утечки конфигурации — DNS, уходящий мимо туннеля, или WebRTC, раскрывающий реальный адрес.
Сайты вычисляют прокси-трафик по семи сигналам, и под каждый есть конкретная контрмера. Таблица собирает их вместе — сигнал, механика, что его останавливает, — а ниже каждый разобран отдельно.
По сути, это обход детекта, сделанный на этапе настройки, еще до первого запроса.
|
Сигнал обнаружения |
Как работает |
Контрмера |
|
Базы репутации IP |
Сверяет IP с черными списками прокси- и абьюз-адресов |
Резидентные или мобильные IP вне этих баз |
|
ASN / серверный детект |
Читает владельца сети; облачные ASN (AWS, DO) сигналят о сервере |
ASN реальных провайдеров (ISP) |
|
Утечки HTTP-заголовков |
Проверяет X-Forwarded-For, Via и похожие, выдающие прокси-хоп |
Elite-прокси, срезающие эти заголовки |
|
Утечки DNS |
Видит DNS мимо туннеля, вычисляет реальный регион |
DNS через прокси или DNS-over-HTTPS |
|
Утечки WebRTC |
WebRTC API раскрывает настоящий IP через STUN |
Отключить WebRTC в браузере |
|
TLS-фингерпринтинг (JA3/JA4) |
Хеширует TLS-рукопожатие; несовпавший отпечаток выдает бота |
Ротировать User-Agent + антидетект-браузер |
|
Поведенческий анализ |
Моделирует тайминг, ротацию и навигацию |
Sticky-сессии и человеческие задержки |
Базы репутации помечают адреса с историей злоупотреблений и адреса, которые явно принадлежат хостинг-провайдерам. Резидентные и мобильные IP берутся из пулов реальных провайдеров и операторов, поэтому в эти списки не попадают. Смена типа IP снимает самые частые блокировки по репутации быстрее любого другого изменения.
Каждый IP принадлежит автономной системе (ASN), которая определяет владельца сети. Облачный ASN вроде AWS (AS16509) сразу вызывает подозрение, а вот ASN провайдера — Comcast, Verizon — имеет высокий trust-score, потому что за ним стоят настоящие домашние пользователи. Берите прокси на ASN провайдеров и держитесь подальше от серверных диапазонов.
Обычные прокси часто добавляют заголовки вроде X-Forwarded-For или Via, которые кричат о том, что в цепочке стоит прокси. Elite-прокси таких заголовков не шлют, и запрос выглядит так, будто пришел напрямую от клиента. Проверьте, что провайдер дает уровень анонимности elite, прежде чем брать его в проект.
Если DNS-запросы резолвятся через ваш локальный резолвер, а не через прокси, сайт читает ваш реальный регион даже при замаскированном IP. Пустите DNS через туннель прокси или включите DNS-over-HTTPS, чтобы резолв имени совпадал с локацией выходного IP.
WebRTC способен раскрыть ваш настоящий IP через STUN-запросы, даже когда вы используете прокси.
В Chrome поставьте расширение, блокирующее WebRTC. В Firefox откройте about:config и переведите media.peerconnection.enabled в false.
Отпечатки JA3 и JA4 хешируют детали вашего TLS-рукопожатия. Когда этот хеш противоречит заявленному User-Agent — например, заголовок Chrome рядом с не-Chrome-рукопожатием, — антибот сразу ловит несостыковку. Ротируйте реалистичные User-Agent и используйте настроенный отпечаток через антидетект-браузер.
Системы детекта смотрят не только на IP, но и на то, как вы себя ведете. Ротация IP посреди сессии, запросы на машинной скорости, переходы между страницами без единой паузы — все это читается как автоматизация.
Используйте sticky-сессии там, где нужна стабильная "личность", и добавляйте случайные задержки, чтобы трафик напоминал живого человека. Как настроить ротацию прокси?
Идеальные прокси-серверы для доступа к ценным данным со всего мира.
Пройдите его до развертывания любой прокси-схемы.
Для большинства сайтов резидентные прокси остаются незаметными лучше всего, а мобильные прокси выдерживают даже самый жесткий фингерпринтинг. Оба типа берут IP реальных пользователей, поэтому несут доверенные ASN и чистую репутацию.
Серверные прокси словить легче всех, а elite помогают в основном тем, что прячут заголовки, — сам источник IP они не улучшают.
|
Тип прокси |
Источник IP |
Риск детекта |
Лучше всего для превенции |
|
Серверные |
Дата-центры |
Высокий |
Задачи без строгих проверок |
|
Резидентные |
Реальные провайдеры |
Низкий |
Большинство сайтов, основной выбор |
|
Мобильные 4G/5G |
Мобильные операторы |
Минимальный |
Агрессивный фингерпринтинг, мобильные платформы |
|
Elite/анонимные |
Любой источник без заголовков |
Средний, зависит от ASN |
Скрыть X-Forwarded-For |
Нет, VPN замечают по тем же сигналам, что и прокси. Диапазоны IP коммерческих VPN находятся в тех же базах репутации и опознаются по ASN — ровно как серверные прокси. VPN закрывает шифрование, но IP с высоким trust-score он вам не дает.
Начинайте с резидентных или мобильных IP вместо серверных. Дальше закройте оставшиеся сигналы — утечки DNS, WebRTC, геотаргетинг — и ваша прокси-схема останется незаметной на большинстве целей.