Ошибка 1015: почему Cloudflare блокирует ваш IP-адрес

Ошибка 1015 чаще всего возникает при попытке доступа к сайту, который защищается веб-файрволом от компании Cloudflare. В отличие от ошибок с кодами 1010 (плохой IP-адрес) и 1005 (блокировка подсети ASN), ошибка 1015 означает превышение числа запросов с одного IP-адреса.

CDN-сервис от Cloudflare пропускает через себя огромный объём трафика, но это не значит, что его возможности безграничны. Чтобы защитить себя и сайты своих клиентов, Cloudflare анализирует большое количество параметров браузеров и IP-адресов при подключении. Если файерволлу что-то не нравится, подключения блокируются, чтобы снизить общую нагрузку на серверы.

Но это не единственная причина ошибки 1015. Ниже разберём что конкретно и в каких случаях может выдавать такой код, а также расскажем как обходить наложенные ограничения при парсинге сайтов.

Про этику парсинга

Если блокировка с ошибкой 1015 всё-таки связана с парсингом, на всякий случай напомним об этике:

• Не создавайте слишком большой нагрузки на серверы и инфраструктуру целевого сайта. При последовательных запросах в один поток выдерживайте достаточный промежуток времени, чтобы число запросов было сбалансированным – как при просмотре страниц реальным пользователем.
• Если вы парсите сайт в несколько потоков, следите за их количеством. Не доводите ситуацию до аналога DDoS-атаки. Чем больше ваших подключений обслуживает сервер, тем меньше реальных пользователей смогут воспользоваться сайтом.
• Не посещайте страниц и разделов сайта, которые запрещены на уровне файла robots.txt. Попытка посещения запрещенных разделов – повод для санкций и блокировок.
• Уважайте интеллектуальную собственность. Нельзя парсить чужой контент и потом использовать его в своих целях. Ведь это интеллектуальный труд, защищённый авторскими правами. Это прямое нарушение законодательства во многих странах.

Причины Error 1015

Нам удалось найти две ситуации возникновения ошибок с кодом 1015. Самая популярная ситуация – блокировка от Cloudflare, а вторая – проблема при установке обновлений в консолях Switch (error code: 2206-1015).

Ниже расскажем о каждой в деталях.

Ошибка 1015 Cloudflare

Сама ошибка 1015 означает, что с вашего IP-адреса осуществляется слишком много запросов.

При блокировке вашего адреса Cloudflare прямо пишет о причинах на странице-заглушке:

Error 1015. You are being rate limited.

Визуально это выглядит следующим образом:

В качестве дополнительной информации может указываться Ray ID, дата + время и на каком сайте клиент получил блокировку.

Формулировка описания ошибки 1015 «Ограничение скорости запросов» звучит слишком расплывчато. Поэтому добавим больше технических деталей. К применению такой блокировки могут привести следующие причины:

• Подключение к сайту через некачественный прокси или VPN-сервис. Условно – с того же IP-адреса может осуществляться подключение нескольких клиентов одновременно. Они в свою очередь могут быть слишком разными: с кардинально отличающимися браузерными профилями и куками, часовыми поясами, логинами авторизации на целевом сайте и т.п.
• Вы открыли слишком много вкладок для одного целевого сайта. Или подключаетесь к сайту одновременно из разных браузеров / браузерных профилей / домашних устройств. В свою очередь лимит на число одновременных сессий мог сильно ограничить владелец сайта в настройках WAF Cloudflare.
• На вашем устройстве работает вирус или скрытый бот. Запросы к сайту отправляются от вашего имени, хотя вы о них можете даже не знать.
• Вы работаете в локальной сети за NAT. Такое часто случается, если у вашего провайдера связи слишком мало свободных IP-адресов в пуле. В этом случае он может выдавать один IP одновременно на сотни реальных пользователей, это так называемые «серые IP с ротацией». Не стоит путать их с классическим «белыми» IP с динамической ротацией. Этакий стихийный бот-нет.
• Вы пытались войти в свою учётную запись на сайте и несколько раз подряд ошибались с паролем. Неудачные авторизации тоже воспринимаются Cloudflare как превышение rate limit.

Error code 2206-1015 в консолях Switch

При попытке или во время обновления консолей Nintendo Switch до версии 20.0.0 многие пользователи получали ошибку: «Error code 2206-1014» или «Error code 2206-1015».

Проблема была устранена в прошивках версии 20.0.1 и выше. Официальный портал поддержки для устранения рекомендовал выключить консоль, войти в режим восстановления (примерно как на смартфонах – нужно включить консоль, удерживая одновременно кнопки громкости «+» и «–»), а затем обновить систему через соответствующий пункт меню восстановления – «Обновить систему».

Смотрите также: Настройка прокси на Nintendo Switch

Возможные способы обхода блокировки с Error 1015 во время скрапинга

Итак, если Cloudflare уже заблокировал ваш IP-адрес из-за подозрительной активности, то у вас только два выхода:

• Ждать, когда блокировка будет снята.
• Сменить IP-адрес на другой.

Отдельно о типах блокировок Cloudflare и сроках их действия

Возникает логичный вопрос: «Как долго сохраняется ошибка 1015?». Мы хотели бы ответить точно, но в реальности всё будет зависеть от настроек, которые указал владелец сайта в своём аккаунте Cloudflare, а также от типа блокировки.

• Ручная блокировка IP-адреса / диапазона IP-адресов – может действовать вечно (пока администратор не отменит правило).
• Автоматическая блокировка из-за превышения лимита запросов – действует временно, обычно 15-20 минут. Но в некоторых случаях, особенно, если речь о злонамеренных массовых атаках, этот период может достигать одного часа или даже больше.
• Блокировка на основе репутации IP-адреса (по совокупности факторов) – может быть постоянной или временной. Тут стоит учитывать, что со временем репутация конкретного адреса может повыситься и преодолеть выставленный в настройках порог.
• Блокировка при высоком уровне безопасности сайта – Cloudflare может более агрессивно фильтровать входящий трафик и блокировать IP, пока угроза не снизится, согласно внутреннему анализу Cloudflare, поэтому сроки будут плавающими.

Обход ошибки 1015 с помощью качественных прокси

Как можно было заметить, Cloudflare не только подсчитывает число запросов в единицу времени, но и ведёт внутренний рейтинг IP-адресов.

Если после 15-20 минут ошибка 1015 никуда не уходит или достаточно быстро появляется снова, то вам нужно:

• Проверить настройки своего парсера. Скорее всего он слишком часто отправляет запросы. Нужно добавить или увеличить имеющиеся задержки между запросами.
• Сменить некачественные прокси на качественные – с автоматической ротацией. Желательно выбирать резидентные или мобильные прокси – они имеют максимальный уровень доверия со стороны WAF Cloudflare.
• Просто обновить или сменить прокси-сервер у текущего провайдера. Новый IP-адрес не будет подлежать блокировке, поэтому ошибка 1015 вам показываться не будет.

Если и это не помогает, то скорее всего простых механизмов обхода уже недостаточно – ваш парсер быстро распознают и блокируют из-за некачественного цифрового отпечатка.

Чтобы максимально соответствовать критериям реальных пользователей, парсер может подключаться к целевому сайту через headless-браузер, а также следить за набором параметров браузерного профиля: куки, юзер-агент, набор шрифтов, расширений и закладок, поддерживаемые технологии и т.п.

Подробнее о цифровых отпечатках.

Ещё предметный материал по теме – Как обойти Cloudflare: проверенные методы.

Выводы и рекомендации

Итак, если вы столкнулись с ошибкой 1015 Cloudflare, то скорее всего плохо настроили частоту запросов в вашем парсере. У Cloudflare нет «золотых стандартов». Лимит на число запросов в минуту указывает владелец сайта, когда настраивает WAF Cloudflare.

Если блокировка автоматическая, то минут через 15-20 бан снимется сама собой. Но если блокировка ручная, то у вас будет только один выход – сменить IP адрес на новый. Ни один масштабный парсер не обходится без качественных прокси.

Froxy – это свыше 10 млн. резидентных и мобильных IP-адресов с автоматической ротацией. Вы можете менять IP хоть при каждом новом запросе. Таргетинг – до уровня города и провайдера связи. Оплачивается только потребляемый трафик, а не количество запросов или число прокси.

Если вы не хотите писать свой парсер с нуля, вам может подойти наша готовая облачная реализация – Froxy Web Scrapers.