Временная блокировка IP: сколько длится и как обойти

Когда вы сталкиваетесь с сообщением о том, что ваш IP-адрес заблокирован, то в голове возникает пара закономерных вопросов: «Как долго продлится бан IP, если он обозначен как временный?» и «Как обойти блокировку, если у вас постоянный бан или вы не хотите долго ждать разблокировки?».

Этот материал посвящён разбору причин временных блокировок, возможной длительности банов, а также вариантам обхода блокировок / восстановления доступа к нужным вам страницам, сайтам или веб-сервисам.

Временный блок и перманентный бан: ключевые отличия

Временный бан IP означает, что блокировка будет снята через время. Обычно этот процесс автоматизирован.

Перманентный бан – это вечная блокировка. Она снимается только после разбирательств в ручном режиме.

Почти никогда вы не сможете получить чёткого ответа, например, «Ваш IP-адрес будет разблокирован через N-часов…». Чтобы лучше разобраться в деталях и получить адекватное понимание реалистичных сроков разблокировки, нужно погрузиться в тему.

Самое главное по существу блокировок IP-адресов:

Если подвести краткий итог, то:

• Многие автоматические блокировки чаще всего сами снимаются через короткий промежуток времени, если они не связаны с общими правилами, политиками или с требованиями законов (как с гео-блокировками).
• Если бан IP выдан вручную или на основе негативной репутации IP-адреса/пользователя, то автоматическая отмена маловероятна.

Как долго длится временная блокировка IP-адреса?

Очень редко случается так, что целевой сайт или сервис прямо говорит о конкретном таймере бана. Это делается намеренно – чтобы владельцы сетей ботов не подстраивали свои скрипты и не создавали паразитной нагрузки на серверы / хостинг.

Согласитесь, стартовая таблица добавила совсем немного конкретики по времени разблокировки, поэтому разберём наиболее частые типы банов и их последствия.

Rate limits (частые обращения)

Этот вид бана IP наиболее распространён.

Во-первых, владельцы сайта и владельцы хостинга не заинтересованы в том, чтобы все вычислительные ресурсы сервера выделялись на обслуживание буквально нескольких клиентов. Это слишком дорого. Поэтому они анализируют типовые действия своих пользователей и понимают, что они обращаются к страницам примерно раз в 5-10 секунд, а одновременных сессий (вкладок или браузеров) открывают не более 7.

Если ваши действия превышают установленные лимиты, то сайт может временно блокировать подключения. Так он защищает остальных клиентов и обеспечивает общую доступность.

После бана IP пользователю при попытке обращения выдаётся страница-заглушка с ошибкой. Чаще всего это (для HTTP-протокола):

• 429 Too Many Requests.
• Иногда 403 Forbidden.
• В более редких случаях – 503 Service Unavailable.

Cloudflare показывает свои коды, например, 102x.

Иногда система защиты может добавлять свои заголовки в HTTP-ответы сервера. Например:

• Retry-After: 60 (сколько секунд ждать)
• X-RateLimit-Limit
• X-RateLimit-Remaining
• X-RateLimit-Reset
• И т.п.

При этом время временной блокировки будет варьироваться в широких пределах – от 5 минут до нескольких дней.

Почему так происходит?

Ответ одновременно и простой, и сложный. Всё зависит от настроек скриптов безопасности.

Например, сайт защищается по числу подключений с помощью штатного модуля веб-сервера NGINX – limit_req_module. Дефолтных значений в конфигах для него нет, поэтому администратор прописывает свои значения вручную – при создании нового сайта. Пусть это будут:

rate=10r/s;

burst=20 nodelay;

Настройки означают, что в среднем сервер будет считать нормальным до 10 запросов в секунду с одного IP-адреса. Но эпизодически он может допустить всплеск (burst) до 20 запросов. Если после 20 «быстрых» запросов частота обращений не нормализуется, то IP будет заблокирован.

Существует очень много решений для защиты сайтов:

На уровне модулей веб-сервера

• nginx – модуль limit_req_zone + limit_req.
• Apache – mod_ratelimit, mod_evasive, mod_security.
• IIS и другие веб-серверы – здесь свои модули.

На уровне сервера, но с помощью сторонних решений:

• Fail2Ban
• Iptables
• Nftables
• И т.п.

На уровне приложения / для защиты бэкенда:

• Token Bucket
• Leaky Bucket
• Sliding Window
• Хранение состояния: Redis, Memcached и т.п.

CDN и WAF-сервисы:

• Cloudflare — Rate Limiting Rules (очень гибкие, можно по URL, методу, стране).
• AWS WAF, Fastly, Akamai, Yandex Cloud, G-Core и др.
• API Gateway (Kong, KrakenD, AWS API Gateway).
• Облачные провайдеры безопасности (Google Cloud Armor, Azure Front Door).

Каждое из решений настраивается индивидуально – в зависимости от особенностей аудитории и архитектуры самого сайта.

Поэтому точное время блокировки IP никто и никогда вам не назовёт.

Тут больше подойдут общие рекомендации для сисадминов, которыми они делятся на профильных форумах:

• Количество запросов в секунду – 5-20 для простых сайтов и блогов, 10-50 для интернет-магазинов, 30-100 (и более) для публичных API.
• Число одновременных сессий – 5-20 для простых сайтов, 10-30 для интернет-магазинов и т.п.
• Количество обращений к страницам авторизации – не более 1-5 запроса в секунду.
• Число обращений к страницам поиска – 5-10 для «просто сайтов», 10-30 для магазинов.

Первичный автоматический бан обычно делают на короткое время – до 15-60 минут. Но при повторном нарушении IP блокируется уже на долгое время – от 1 до 3 дней. Это помогает кратно разгрузить сервер от ботов. Если нарушения слишком частые, то может накладываться постоянный бан.

Сработка WAF из-за парсинга

Правила срабатывания веб-фаерволов заметно сложнее, чем в штатных модулях защиты веб-серверов.

Здесь анализируются уже не только число обращений или сессий в единицу времени, но и:

• Характер обхода страниц (например, по порядку с другими признаками, которые могут быть только у парсеров).
• Отсутствие человеческих (случайных) задержек между обращениями к серверу.
• Несоответствие цифровых отпечатков отпечаткам реальных браузеров. Именно так выявляются headless-браузеры и парсеры, работающие исключительно с HTTP-запросами.
• Отсутствие специальных токенов и поддержки JavaScript.
• Поведение пользователя на страницах – характер прокрутки, перемещение указателя, особенности заполнения полей и т.п.
• Посещение запрещённых страниц и ловушек.
• Неверное решение капчи.

Некоторые WAF считают совокупный рейтинг пользователя. Благодаря этому владелец сайта может выстраивать более сложные алгоритмы защиты. Например, кто-то будет ждать максимальной суммы баллов, а кому-то достаточно уровня доверия в 80%, чтобы заблокировать пользователя.

Каждое правило блокировки может быть связано с разными типами действий. За какие-то будут назначаться временные блокировки с автоматическим снятием через заданное время, а где-то будет максимально жёсткое наказание в виде вечного бана.

Как определить, какой у вас тип блокировки

Определить тип вашей блокировки можно только по косвенным признакам. Если ваш IP был временно заблокирован, то вы скорее всего увидите соответствующее сообщение на странице ошибки или в личном кабинете пользователя. Но не ждите дополнительных подробностей от провайдера. Это не в его интересах. Если он сообщит причину и сроки снятия блока IP, то этим вполне могут воспользоваться злоумышленники.

Если говорить об HTTP-ответах сервера:

• 429 Too Many Requests – блок за rate-limits, чаще всего временный.
• 403 Forbidden – в большинстве случаев указывает на запрет доступа после сработки правил систем защиты, это длительные блокировки или вечные баны.
• 503 Service Unavailable – это скорее отказ в обслуживании из-за внутренних / технических причин. Через время сайт или сервис заработает.
• 401 Unauthorized — проблема с авторизацией, если бан и есть, то на уровне учётной записи.
• 404 Not Found — проблема с доступом к конкретной странице, обычно не связана с защитой или банами.

Чтобы определить тип блокировки точнее, нужно:

1. Детальнее изучить ответы сервера. Здесь могут появиться дополнительные заголовки, которые прояснят ситуацию. Например, Retry-After:…
2. Попробовать подключиться к целевому сайту не через парсер, а из реального браузера.
3. Попробовать сменить IP-адрес на другой (через качественный прокси-сервер).
4. Уточнить свой IP (для этого есть масса профильных сервисов), а затем «пробить» его по спам-базам.

Почему целевой сайт банит IP – причины

Как можно было понять из вышесказанного, блок IP – это сигнал о том, что сайт пытается защититься от злонамеренных и просто вредных для него действий. Ниже типовые причины блокировок:

Rate limits

Сервер ограничивает количество обращений от одного IP за определённый период времени, чтобы защититься от перегрузки и автоматизированных запросов. Выявить достаточно просто: бан появляется, если вы слишком часто открываете страницы или совершаете слишком много переходов по ссылкам внутри. Аналогичные проблемы могут возникать при работе по API, а также при открытии нескольких браузеров или при работе с одним и тем же сайтом с разных своих устройств / из локальной сети / за одним роутером.

Реже – проблема в архитектуре сети вашего провайдера, если один IP выдаётся сразу на много пользователей (это так называемые «серые динамические IP»).

Фейл-логины

Тоже логичная реакция. Если пользователь слишком часто обращается к странице входа или к странице восстановления пароля, это сильно похоже на перебор паролей или на попытку взлома. В норме пользователь авторизуется один раз, а затем просто работает с сайтом. Даже если попытки входа успешные, то система безопасности может обоснованно заподозрить пользователя в проверке чужих учётных записей.

Скрапинг без ротации IP/профилей

Живой человек всегда имеет свой предел активности. Даже если параметры подключения вписываются в rate-limits, WAF-системы всё равно могут выдать бан, если заподозрят автоматизацию действий. Ни один человек не сможет просмотреть тысячи однотипных страниц за короткое время. Деятельность ботов обычно строго регламентируется директивами файла robots.txt и правилами пользования (ToS). Алгоритмы выявления автоматического трафика могут быть очень сложными: по цифровых отпечаткам, браузерным профилям, токенам, HTTP-заголовкам и пр.

Если ротация IP и браузерного профиля сбрасывает ошибку, то причина точно в обнаружении парсера / автоматических запросов (иногда их отправляют вирусы и различные скрипты, о которых пользователь даже не подозревает).

Гео-ограничения

Гео-блокировки могут быть связаны с особенностями работы самого сайта, а также с требованиями законов. Плюс владелец ресурса может вручную заблокировать трафик тех стран и регионов, которые он не рассматривает на роль полезных (там нет его потенциальной аудитории).

Факт выявляется сменой IP в привязке к разным локациям.

Плохая репутация IP

Адрес может быть заблокирован из-за действий предыдущих пользователей. Так бывает. Проверить причину блокировки можно прогоном своего IP по известным спам-базам.

Malware и подозрительная активность

Характер блокировки из-за работы вредоносного ПО или скриптов будет совпадать с тем, что мы описали для парсинга. Единственно отличие – вы точно знаете, что не пользуетесь парсером. Но при этом вам всё равно выдают временный или постоянный бан, который уходит после смены IP через прокси. Через непродолжительное время новый IP опять блокируется.

Как исправить и восстановить доступ

Ниже предметные шаги и рекомендации по снятию/обходу временных блокировок:

• Просто подождать. Вполне рабочая стратегия. Если блокировка временная, вы никуда не торопитесь и точно знаете, что не пользовались скриптами/парсерами. Достаточно выждать небольшое время и снова попробовать подключиться к целевому сайту. Многие временные блокировки действуют от 10 до 60 минут. Максимум до нескольких суток.
• Сменить сеть / перезагрузить роутер для динамического IP. В настоящее время многие провайдеры домашнего интернета выдают IP-адреса в своей подсети динамически. Соответственно, чтобы у вас сменился IP, достаточно перезагрузить роутер или выключить его, подождать немного (несколько минут) и включить снова. Единственный минус – если у вас статичный IP или у провайдера «серые» адреса (один IP выдаётся на большое количество пользователей).
• Очистить куки. Иногда сброс параметров браузера может помочь. Дело в том, что старые куки могут восприниматься как признаки бота. Устаревшая сессия повышает риск перехвата и получения доступа с других устройств – это триггер для WAF. Сбросьте куки и подключитесь к целевому сайту заново.
• Проверить устройство на вирусы. Может случиться так, что запросы к сайтам отправляются без вашего ведома. Тогда, при реальном подключении из своего браузера вы легко можете увидеть бан. После проверки и очистки не стоит ждать быстрой разблокировки. Скорее всего нужно дополнительно подождать от нескольких часов до нескольких дней, чтобы системы защиты сайта или веб-сервиса «забыли» о ваших запросах.
• Проверить IP по спам-базам и чёрным спискам. Иногда бывает так, что локальный провайдер покупает свободный пул IP, но он оказывается с «подмоченной» репутацией. Чтобы снять блокировку, нужно связаться с поддержкой целевого ресурса и предоставить информацию о смене владельца IP-пула. А можно обратиться с проблемой к провайдеру связи – он заменит вам IP, а затем уже самостоятельно займётся вопросами его «обеления».
• Использовать прокси. Прокси – это адрес-посредник. То есть целевой сайт будет видеть не ваш реальный IP, а IP-адрес другого устройства. Но тут важно помнить, что многое будет зависеть от качества прокси, а также от типа адресов. Наиболее трастовые – резидентные и мобильные прокси. Серверные IP зачастую сразу под подозрением, даже если отсутствуют в спам-базах.

Как предотвратить блоки IP?

Советы простые. Чтобы не напроситься на бан IP, следует придерживаться следующих правил:

• Соблюдать частоту запросов / обращений к сайту.
• Не обращаться к формам авторизации слишком часто (особенно, если у вас парсер).
• Использовать качественные прокси с высоким уровнем доверия: резидентные или мобильные.
• Каждый отдельный браузерный профиль или поток парсинга должен работать через свой отдельный прокси / IP-адрес.
• Поведение парсера должно быть максимально «человеческим» – следите за задержками, шевелением мышью, скроллами, порядком обхода страниц, постарайтесь скрыть атрибуты headless-браузера (если системы защиты максимально продвинутые).
• Не нарушайте правила сайта, директивы robots.txt и обычную человеческую этику. Не стоит создавать повышенную нагрузку на хостинг, нельзя работать с данными и разделами, которые запрещены для поисковых ботов. И т.п.

Смотрите также: Гайд по успешному парсингу без блокировок.