Многие сайты используют Cloudflare для «разгрузки» своих серверов, ведь это крупнейшая сеть доставки контента в мире (CDN). Параллельно Cloudflare может взять на себя защиту сайта от DDoS-атак, а также выполнять роль посредника. В этом случае сервис работает как фильтр, который детально анализирует входящий трафик, выявляет и блокирует подозрительные подключения. Это так называемый WAF (файрволл для веб-приложений).
Данный материал будет посвящён ошибке Cloudflare с кодом 1010. Расскажем что она обозначает, в каких случаях появляется и как её избежать/обойти при парсинге.
Что такое ошибка Cloudflare 1010?
Обратите внимание! Ошибку 1010 будет возвращать не целевой сайт, который вы хотите спарсить, а сервис-посредник – Cloudflare. Это значит, что он работает в роли файервола и блокирует подозрительные подключения.
Cloudflare-ошибка с кодом 1010 (Access Denied, Bad IP) – это ошибка доступа из-за неправильного (неподходящего) IP-адреса.
Такая ошибка с большой вероятностью связана с тем, что IP-адрес, который вы использовали для подключения к сайту (свой или прокси-сервера), ранее был замечен в подозрительной активности и не прошёл проверку системы безопасности.
Почему возникает ошибка Cloudflare 1010: основные причины
Понятие «безопасности» может быть предельно широким, поэтому ниже рассмотрим причины ошибки Cloudflare с кодом 1010 с разных точек зрения.
Но если сильно не погружаться в детали, то в большинстве случаев ошибка с кодом 1010 отдаётся посетителям из-за срабатывания следующих правил защиты:
- IP нарушает политику доступа. Например, когда владелец сайта вручную запретил определённые диапазоны IP (из разных стран, городов или подсетей).
- Имеются проблемы с ASN-номером. Механизм работает примерно так же, как и политика доступа, только под блокировку попадают определённые провайдеры связи, в том числе хостинги и юридические лица, или отдельные подсети (с конкретными номерами ASN).
- Проблемы с шифрованием при HTTPS-подключении. Например, несовместимые версии SSL/TLS-сертификатов и протоколов (чаще всего речь об устаревших браузерах или ОС).
- Слишком жёсткие настройки защиты от ботов (Bot Fight Mode) и/или подозрение на автоматизацию. Такая ситуация как раз характерна при парсинге, а также при подключении через прокси или VPN.
Такие правила могут настраиваться и активироваться:
- Владельцами сайтов, которые защищают подключения с помощью Cloudflare.
- Общей инфраструктурой Cloudflare. При обнаружении DDoS-атак и других активностей, которые могут нанести вред сетям CDN-сервиса.
- На уровне сетевых протоколов. В частности, речь о SSL/TLS-шифровании при HTTPS-подключении.
Ошибка Cloudflare 1010 с точки зрения посетителя
Какая симптоматика свидетельствует о возникновении ошибки Cloudflare 1010? Тут всё достаточно просто. С большой вероятностью вы поймёте всё по специальной странице-заглушке.
Браузер отобразит что-то вида:
Чтобы исправить ошибку с кодом 1010, обычному пользователю можно пройтись по следующим пунктам и устранить проблемы:
- Отключите работу VPN-клиента или прокси. Обратите внимание, прокси/VPN может работать на уровне всей операционной системы или в конкретном приложении, например, в браузере).
- Убедитесь, что используете актуальную версию браузера. Желательно установить что-то из мейнстримных продуктов: Edge, Chrome, Safari и т.п. По возможности попробуйте подключиться через разные браузеры, чтобы убедиться, что проблема не на стороне конкретного приложения.
- Если «сбоит» только определённый браузер, то проверьте, не отключена ли в нём обработка JavaScript.
- Если это не помогает, то выключите все браузерные расширения и попробуйте подключиться к сайту с «чистым» профилем.
- Очистите куки того сайта, на котором у вас возникает ошибка 1010.
- Если ошибка выдаётся на уровне конкретного устройства, то стоит проверить актуальность TLS/SSL-сертификатов (они могут быть устаревшими, особенно, если вы пользуетесь версией операционной системы, которая давно не обновлялась) или просканировать диск на наличие вирусов/нежелательного ПО (оно может отправлять автоматические запросы к целевому сайту, а Cloudflare это распознаёт и возвращает ошибку с кодом 1010).
- Проверьте настройки системного времени, а ещё лучше активируйте автонастройку на основе специальных сетевых серверов времени.
- Попробуйте отключить антивирусное ПО, файрволлы и блокировщики рекламы. В некоторых случаях они могут модифицировать HTTP-запросы, нарушая их целостность (особенно, когда «вырезают» рекламные объявления и трекеры).
Ошибка Cloudflare 1010 при парсинге или автоматизации
Следует помнить, что задача Cloudflare при фильтрации нежелательного трафика для сайта как раз сводится к тому, чтобы эффективно отсеивать все «мусорные» подключения, которые выполняются ботами и парсерами. Они не несут для сайта полезной нагрузки, а иногда откровенно вредят.
Поэтому, если в процессе парсинга вы сталкиваетесь с ошибкой 1010 от Cloudflare, то ваш парсер недостаточно хорош для того, чтобы обойти правила защиты Cloudflare. Ну или проблема в типе/качестве прокси.
Типичные причины, которые приводят к появлению такой ошибки:
- Игнорирование качества (правдоподобности) цифровых отпечатков.
- Слишком частые запросы или запросы через одинаковые промежутки времени.
- Отсутствие поддержки JavaScript и игнорирование cookies.
- Характерные технические признаки популярных headless-браузеров.
- Попытки обращаться к приватным/защищённым API-эндпоинтам.
- Низкое качество прокси или использование IP-адресов с плохой репутацией –принадлежащих хостинг-провайдерам, замеченных в спам-базах, VPN-сетях и т.п.
Резидентные прокси
Идеальные прокси-серверы для доступа к ценным данным со всего мира.
Как исправить ошибку Cloudflare 1010 для парсеров и API-клиентов
Нельзя сказать, что какие-то определённые конструкции программного кода приводят к возникновению ошибки 1010. Это не ошибка кода/вашего скрипта, это проблема логики работы парсера, касающаяся его поведения – скрипт обнаруживают и блокируют. Было бы глупо, если бы разработчики Cloudflare выдали прямой набор рекомендаций по исключению/обходу ошибки 1010.
Поэтому, во-первых, ваш парсер должен уметь обрабатывать ошибки Cloudflare 1010, чтобы своевременно получать сигналы о необходимости остановки или об активации специальных алгоритмов обхода / ответных действий.
Во-вторых, нужно пройтись по причинам появления ошибки 1010 и вдумчиво изменить логику работы вашего парсера. Может быть, придётся исправить что-то одно, а может – придётся полностью переписать весь ваш парсер с нуля, так как он морально устарел и легко выявляется антибот-защитой Cloudflare. В соответствии со списком наиболее вероятных причин, которые были обозначены выше можно дать следующие советы для оперативного реагирования.
Советы по предотвращению ошибки Code 1010
- Задействование антидетект-браузеров или имитация естественных браузерных профилей в связке с headless-браузерами.
- Рандомизация задержек между запросами – так, чтобы они максимально были похожи на характерное человеческое поведение. Важно помнить, что ни один человек не сможет отправить сразу 100 запросов за одну секунду. Если парсинг масштабный, то выходом станет распараллеливание запросов или быстрая смена браузерных профилей вместе с прокси-серверами.
- Обязательное включение поддержки JavaScript (для этого нужны всё те же headless-браузеры или антидетекты) и задействование работы с cookies (не только на уровне всего браузера, но и на уровне цифровых отпечатков – если вы будете подключаться из разных мест, но с одним и тем же браузерным профилем, вас быстро вычислят).
- Научиться скрывать типовые признаки популярных headless-браузеров. Для этого можно использовать специальные модули и библиотеки (более опытные программисты могут самостоятельно исправить дефолтные настройки headless-браузеров).
- Стараться работать с сайтом так, как это бы делал реальный человек – то есть без прямого обращения к внутренним API-эндпоинтам, без перехода по защищённым формам, скрытым ссылкам и т.п.
- Использовать качественные прокси, которые максимально соответствуют нужному типу устройств реальных клиентов. Например, мобильные прокси (как наиболее трастовые) или резидентные. Не лишним будет реализовать правильную ротацию прокси. Например, если вы работаете со страницами без авторизации, то лучшей стратегией будет замена IP при каждом новом запросе или по таймеру с небольшим промежутком времени. Но если вы авторизуетесь и проходите проверку Cloudflare, то логично перейти на «липкие» сессии и удерживать выходной IP в паре с правдоподобным цифровым отпечатком как можно дольше.
Конкретный набор технических реализаций может разниться от проекта к проекту. Универсального рецепта, к сожалению, нет.
Пример кода скрипта, который будет отслеживать ошибку Cloudflare с кодом 1010
Мы любим Python, поэтому скрипты для примеров пишем на нём:
import random
import time
import requests
import telegram
from selenium.webdriver.common.action_chains import ActionChains
import undetected_chromedriver as uc
from selenium.webdriver.common.by import By
# -------------------------------
# CONFIG
# -------------------------------
TARGET_URLS = [
"https://example.com/page1",
"https://example.com/page2"
]
BACKCONNECT_PROXIES = [
"proxy1.example.com:1234",
"proxy2.example.com:1234",
"proxy3.example.com:1234"
]
BROWSER_PROFILES = [
{"user_agent": "Mozilla/5.0 ... Chrome/121.0", "cookies": "cookies/profile1.txt"},
{"user_agent": "Mozilla/5.0 ... Firefox/119.0", "cookies": "cookies/profile2.txt"},
{"user_agent": "Mozilla/5.0 ... Safari/605.1.15", "cookies": "cookies/profile3.txt"}
]
REQUEST_TIMEOUT = 20
RETRY_LIMIT = 3
TG_TOKEN = "YOUR_TELEGRAM_TOKEN"
TG_CHAT_ID = "YOUR_CHAT_ID"
bot = telegram.Bot(TG_TOKEN)
# -------------------------------
# UTILITIES
# -------------------------------
def send_telegram_message(text):
bot.send_message(chat_id=TG_CHAT_ID, text=text)
def get_random_proxy():
return random.choice(BACKCONNECT_PROXIES)
def random_delay():
time.sleep(random.uniform(3, 5))
def is_cloudflare_1010(response):
if response.status_code == 403 and "1010" in response.text:
return True
return False
# -------------------------------
# HEADLESS SELENIUM LOADER
# -------------------------------
def load_with_selenium(url, profile):
proxy = get_random_proxy()
options = uc.ChromeOptions()
options.headless = False # остаётся видимым, но можно скрыть окно
options.add_argument(f"--proxy-server=http://{proxy}")
options.add_argument(f"--user-agent={profile['user_agent']}")
driver = uc.Chrome(options=options)
# загрузка cookies (если есть)
try:
with open(profile["cookies"], "r", encoding="utf-8") as f:
cookies = f.read().split("\n")
for c in cookies:
if "=" in c:
name, value = c.split("=", 1)
driver.add_cookie({"name": name.strip(), "value": value.strip()})
except:
pass
driver.get(url)
time.sleep(3)
# Имитация действий
actions = ActionChains(driver)
# движение мыши
for _ in range(3):
actions.move_by_offset(
random.randint(-50, 50),
random.randint(-50, 50)
).perform()
time.sleep(0.3)
# скролл
for _ in range(3):
driver.execute_script("window.scrollBy(0, arguments[0]);", random.randint(200, 700))
time.sleep(0.5)
html = driver.page_source
driver.quit()
return html
# -------------------------------
# REQUESTS LOADER
# -------------------------------
def load_with_requests(url, profile):
proxy = get_random_proxy()
proxies = {
"http": f"http://{proxy}",
"https": f"http://{proxy}"
}
headers = {
"User-Agent": profile["user_agent"],
"Accept": "text/html,application/xhtml+xml",
"Accept-Language": "en-US,en;q=0.9"
}
# загрузка cookies
cookies_dict = {}
try:
with open(profile["cookies"], "r", encoding="utf-8") as f:
for line in f:
if "=" in line:
k, v = line.split("=", 1)
cookies_dict[k.strip()] = v.strip()
except:
pass
response = requests.get(
url,
headers=headers,
cookies=cookies_dict,
proxies=proxies,
timeout=REQUEST_TIMEOUT
)
return response
# -------------------------------
# MAIN PARSE FUNCTION
# -------------------------------
def process_url(url):
print(f"Processing: {url}")
attempts = 0
while attempts < RETRY_LIMIT:
attempts += 1
profile = random.choice(BROWSER_PROFILES)
random_delay()
try:
response = load_with_requests(url, profile)
if is_cloudflare_1010(response):
print("Cloudflare 1010 detected. Switching to Selenium...")
html = load_with_selenium(url, profile)
return html
if response.status_code == 200:
return response.text
else:
print(f"Error {response.status_code}, attempt {attempts}")
except Exception as e:
print(f"Request error: {e}, attempt {attempts}")
# если всё плохо — отправить в Telegram
send_telegram_message(f"⚠️ Error when processing URL after {RETRY_LIMIT} attempts:\n{url}")
return None
# -------------------------------
# ENTRY POINT
# -------------------------------
if __name__ == "__main__":
for url in TARGET_URLS:
html = process_url(url)
if html:
print(f"Loaded: {len(html)} bytes")
else:
print("Failed.")Не забудьте установить необходимые библиотеки и дождаться завершения загрузки headless-браузеров для Selenium.
Что делает скрипт:
- На вход получает список URL-адресов. Вы можете изменить стартовый массив на свой.
- Для каждого URL выбирает случайный прокси (мы предполагаем backconnect-подключение, поэтому вполне можно обойтись даже одним IP-портом, так как ротация выходных адресов будет реализовываться силами прокси-сервиса, но вы можете использовать в этом списке разные прокси-порты, например, из разных локаций или с разной логикой удержания/ротации IP).
- Выбирает случайный браузерный профиль (по аналогии с цифровыми отпечатками).
- Изначально пытается загрузить страницу через библиотеку для HTTP-запросов – Requests.
- Если страница показывает ошибку Cloudflare 1010, то парсер переключается на undetected-chromedriver (это готовая библиотека для скрытия следов использования headless-браузера).
- В headless-режиме имитирует движения мышью, выполняет случайные скроллы, везде использует случайные задержки.
- Если ошибка отличается от кода 1010, то пытается «достучаться до страницы» N раз, а затем, когда попытки заканчиваются, отправляет сообщение о проблеме в Telegram.
В скрипте нет конкретной логики парсинга, но вы можете описать её самостоятельно или посмотреть в наших примерах из соответствующих материалов блога. Для синтаксического анализа мы рекомендуем BeautifulSoup.
FAQ по ошибке Cloudflare 1010
Почему я получаю сообщения об ошибках Cloudflare?
Проблемы Cloudflare возникают не из-за целевого сайта (того, который вы хотите спарсить), а из-за механизмов защиты самого Cloudflare. Этот сервис выступает в роли веб-антивируса (или продвинутого файрволла) и имеет анализировать большое количество атрибутов соединений: браузерных отпечатков, истории IP-адресов, поведения пользователей и пр. Пройти защиту Cloudflare иногда достаточно сложно и сервис не ограничивается только ошибкой 1010.
Вы можете столкнуться с массой других ошибок доступа. Самый неприятный формат – решение капчи. Материал о том, как обходить защиту Cloudflare. Если вы увидели ошибку, это значит, что вы не прошли автоматическую проверку системы безопасности Cloudflare. Обычным пользователям, которые не связаны с парсингом сайтов, достаточно отключить VPN или прокси – с большой вероятность проблема с ошибкой 1010 возникла из-за них. Но могут быть и другие причины, их все мы рассмотрели выше.
Помогает ли смена IP-адреса при 1010 ошибке?
Не всегда. Если систему безопасности Cloudflare не устроил браузерный профиль (цифровой отпечаток), то смена IP не поможет. Хотя да, основная первопричина – низкое качество адреса. Ещё одна ситуация, когда ротация IP не спасёт: если IP относится к подсети ASN или к пулу IP-адресов конкретного провайдера, которые помечены как нежелательные, тогда ротация IP из той же подсети опять будет приводить к ошибке 1010.
Связана ли ошибка 1010 с CAPTCHA?
Косвенно. Если Cloudflare определяет клиента как подозрительного, то сервис может показать CAPTCHA или сразу вернуть код 1010. Но сама ошибка означает именно отказ в доступе на уровне правил, а не обязательный вызов CAPTCHA.
Может ли ошибка 1010 быть временной?
Да. Иногда облачные правила Cloudflare-защиты меняются динамически: возможны A/B-тестирования, временная геоблокировка, эпизодические фильтры трафика или повышение «подозрения» после нескольких быстрых запросов. Через некоторое время доступ вполне может вернуться.
Какая разница между ошибками Cloudflare 1010, 1020 и 1006?
- 1010 — отказ по текущему IP или по параметрам запроса.
- 1020 — нарушение специфического правила файервола, установленного владельцем сайта.
- 1006 — вас заблокировали вручную или ограничили доступ географически.
Заключение и рекомендации
Итак, несмотря на чёткое указание номера и причины ошибки, код 1010 может показываться при совокупности большого количества факторов – от действительно плохого IP-адреса до «подозрительной» активности пользователя (при обнаружении признаков автоматизации и парсинга с данного IP).
Ошибку не всегда можно убрать за счёт оперативной смены (ротации) IP-адреса. Но именно качество IP и его «естественность» лежат в основе последующих действий по обходу проблемы.
Найти качественные прокси можно у нас. Froxy это свыше 10 млн. резидентных и мобильных IP с таргетингом до города и провайдера связи. Тарификация на основе предоплаченных пакетов трафика.