Как обойти защиту Cloudflare от ботов: вариант веб-скрапинга с Puppeteer

npm install puppeteer-extra puppeteer-extra-plugin-stealth puppeteer fs-extra
/**
* ПРИМЕЧАНИЯ!
* Шаблон: Puppeteer + Stealth + 2captcha
* Настройте:
 *  - PROXY (rotating) или массив прокси
 *  - PATH_TO_CHROME (если нужно использовать реальный браузер Chrome вместо headless)
 *  - API_KEY_2CAPTCHA
 *
 * Примечание: пример использует глобальный fetch (Node v18+). Для старых Node используйте node-fetch/axios.
 */
// Подключаем библиотеки
const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
const fs = require('fs-extra');
const path = require('path');

// Используем стелс-режим
puppeteer.use(StealthPlugin());

// ========== CONFIG ==========
const API_KEY_2CAPTCHA = 'REPLACE_WITH_YOUR_2CAPTCHA_KEY';
const PROFILE_DIR = path.resolve(__dirname, 'profiles'); // путь для сохранения профиля и кук
const COOKIES_FILE = profileId => path.join(PROFILE_DIR, `${profileId}_cookies.json`);
const PATH_TO_CHROME = undefined; // путь до реального браузера '/usr/bin/google-chrome' или undefined, чтобы использовать встроенный headless-браузер
const HEADLESS = false; // рекомендуем false для начала
// Прокси: если у вас ротатор — просто передаём прокси-сервер (socks5/http)
const PROXY = 'http://username:password@proxy-host:port'; // или null

// ========== HELPERS ==========
//Асинхронное ожидание и промисы
async function sleep(ms){ return new Promise(r => setTimeout(r, ms)); }
//Сохранение кук
async function saveCookies(profileId, page){
  await fs.ensureDir(PROFILE_DIR);
  const cookies = await page.cookies();
  await fs.writeJson(COOKIES_FILE(profileId), cookies, { spaces: 2 });
}
//Загрузка имеющихся кук
async function loadCookies(profileId, page){
  const f = COOKIES_FILE(profileId);
// Если куки на месте, то считываем их
  if (await fs.pathExists(f)) {
    const cookies = await fs.readJson(f);
    try {
      await page.setCookie(...cookies);
      return true;
    } catch(e){
// Если куки установить невозможно, то выводим ошибку в консоль
      console.warn(Error when installing cookies:', e.message);
    }
  }
  return false;
}

// 2captcha: отправка задачи и опрос результата
async function submit2CaptchaTask({ apiKey, sitekey, pageurl, method }) {
  // method: 'userrecaptcha' | 'hcaptcha' | 'turnstile' etc.
  // returns { requestId }
  const params = new URLSearchParams({
    key: apiKey,
    method,
    googlekey: sitekey, // для recaptcha userrecaptcha
    pageurl
  });

  // для turnstile 2captcha требуется метод "method=turnstile" и "sitekey"
  if (method === 'turnstile') {
    params.delete('googlekey');
    params.set('sitekey', sitekey);
  }

  params.set('json', 1);

  const res = await fetch(`http://2captcha.com/in.php?${params.toString()}`);
  const json = await res.json();
  if (json.status !== 1) throw new Error('2captcha submit error: ' + JSON.stringify(json));
  return { requestId: json.request };
}
// Устанавливаем число попыток решения капчи и интервал между запросами (в миллисекундах)
async function poll2CaptchaResult({ apiKey, requestId, maxAttempts = 10, interval = 5000 }) {
  const params = new URLSearchParams({
    key: apiKey,
    action: 'get',
    id: requestId,
    json: 1
  });

  for (let i = 0; i < maxAttempts; i++){
    await sleep(interval);
    const res = await fetch(`http://2captcha.com/res.php?${params.toString()}`);
    const json = await res.json();
    if (json.status === 1) {
      return json.request; // token
    } else if (json.request === 'CAPCHA_NOT_READY') {
      // продолжаем
      console.log(`2captcha: not ready (${i+1}/${maxAttempts})`);
      continue;
    } else {
      // пишем ошибку в консоль
      throw new Error('2captcha error: ' + JSON.stringify(json));
    }
  }
  throw new Error('2captcha: timeout waiting for solution');
}

// Детекция капчи в HTML/DOM
async function detectCaptchaOnPage(page){
// Ждём прогрузки контента
  const html = await page.content();

  // быстрый поиск по HTML, ищем признаки капчи recaptcha, hcaptcha и turnstile
  const quick = /challenges\.cloudflare\.com\/turnstile|cdn-cgi\/challenge-platform|g-recaptcha|hcaptcha|www\.google\.com\/recaptcha|Checking your browser|One more step/i.test(html);

  // ищем селекторы и другие признаки
  const hasRecaptcha = !!(await page.$('.g-recaptcha, [data-sitekey][data-widget-id*="recaptcha"], iframe[src*="recaptcha"]'));
  const hasHcaptcha = !!(await page.$('.h-captcha, iframe[src*="hcaptcha.com"]'));
  const hasTurnstile = !!(await page.$('[data-cf-turnstile], .cf-turnstile, iframe[src*="turnstile"]'));

  // попытка найти явный ключ сайта в HTML
  const sitekeyMatch = html.match(/data-sitekey=["']([^"']+)["']/i);
  const iframeUrls = (await page.frames()).map(f => f.url()).join(' ');
  const iframeSitekeyMatch = iframeUrls.match(/sitekey=([^&]+)/i);

  // Ищем по кукам
  const cookies = await page.cookies();
  const cookieNames = cookies.map(c => c.name).join(',');
  const hasCfClearance = /cf_clearance/i.test(cookieNames);

  return {
    quick,
    selectors: { hasRecaptcha, hasHcaptcha, hasTurnstile },
    sitekey: (sitekeyMatch && sitekeyMatch[1]) || (iframeSitekeyMatch && decodeURIComponent(iframeSitekeyMatch[1])) || null,
    cookieNames,
    hasCfClearance,
    iframeUrls
  };
}

// возврат решённой капчи в DOM и submit формы
async function injectCaptchaToken(page, token, type){
  // type: 'recaptcha' | 'hcaptcha' | 'turnstile'
  if (type === 'recaptcha'){
    // classic: g-recaptcha-response textarea
    await page.evaluate((t) => {
      let el = document.querySelector('textarea[name="g-recaptcha-response"]');
      if (!el) {
        el = document.createElement('textarea');
        el.name = 'g-recaptcha-response';
        el.style.display = 'none';
        document.body.appendChild(el);
      }
      el.value = t;
      // некоторые сайты ожидают явного запроса на обратный коллбэк
      if (window.grecaptcha && grecaptcha && grecaptcha.getResponse) {
      }
    }, token);

    // Попытка ввода решения
    await page.evaluate(() => {
      // триггеры, которые отслеживаются некоторыми формами
      document.dispatchEvent(new Event('recaptcha-token-injected'));
    });
  } else if (type === 'turnstile'){
    await page.evaluate((t) => {
      // Типичное имя входного параметра Cloudflare turnstile: cf-turnstile-response
      let el = document.querySelector('textarea[name="cf-turnstile-response"], input[name="cf-turnstile-response"]');
      if (!el) {
        el = document.createElement('textarea');
        el.name = 'cf-turnstile-response';
        el.style.display = 'none';
        document.body.appendChild(el);
      }
      el.value = t;
      document.dispatchEvent(new Event('turnstile-token-injected'));
    }, token);
  } else if (type === 'hcaptcha'){
     // Ввод решения hcaptcha
    await page.evaluate((t) => {
      let el = document.querySelector('textarea[name="h-captcha-response"], input[name="h-captcha-response"]');
      if (!el) {
        el = document.createElement('textarea');
        el.name = 'h-captcha-response';
        el.style.display = 'none';
        document.body.appendChild(el);
      }
      el.value = t;
      document.dispatchEvent(new Event('hcaptcha-token-injected'));
    }, token);
  }

  // попытаться автоматически отправить форму, если она есть
  try {
    await page.evaluate(() => {
      const forms = Array.from(document.forms);
      if (forms.length === 1) forms[0].submit();
      else {
        // если есть кнопка submit
        const btn = document.querySelector('button[type="submit"], input[type="submit"]');
        if (btn) btn.click();
      }
    });
  } catch(e){
    console.warn('Error when auto-submitting the form:', e.message);
  }
}

// Основной парсер
async function runScrape({ url, profileId = 'default', proxy = PROXY }) {
// Дополнительные аргументы для скрытия следов headless-браузера
  const launchArgs = [
    '--no-sandbox',
    '--disable-setuid-sandbox',
    '--disable-dev-shm-usage',
    '--disable-blink-features=AutomationControlled',
    '--lang=en-US,en'
  ];

  if (proxy) launchArgs.push(`--proxy-server=${proxy}`);

  const browser = await puppeteer.launch({
    headless: HEADLESS,
    executablePath: PATH_TO_CHROME || undefined,
    args: launchArgs,
// Не лишним будет задать реалистичные параметры окна браузера
    defaultViewport: { width: 1366, height: 768 }
  });

  const page = await browser.newPage();

  // HTTP заголовки, юзерагент + UA
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36');
  await page.setExtraHTTPHeaders({ 'Accept-Language': en-US,en;q=0.9,en-US;q=0.8,en;q=0.7' });

  // Важно: ранние переопределения до загрузки страниц
  await page.evaluateOnNewDocument(() => {
    // navigator.webdriver
    Object.defineProperty(navigator, 'webdriver', { get: () => false });

    // languages
    Object.defineProperty(navigator, 'languages', { get: () => ['en-US', 'en', 'ru-RU', 'ru'] });

    // plugins - простая имитация
    Object.defineProperty(navigator, 'plugins', {
      get: () => [{ name: 'Chrome PDF Plugin' }, { name: 'Native Client' }]
    });

    // chrome runtime
    window.chrome = window.chrome || { runtime: {} };

    // WebGL patch (вставляем примитивную имитацию)
    try {
      const getParameter = WebGLRenderingContext.prototype.getParameter;
      WebGLRenderingContext.prototype.getParameter = function(parameter) {
        if (parameter === 37445) return 'Intel Inc.';
        if (parameter === 37446) return 'Intel(R) UHD Graphics 620';
        return getParameter.call(this, parameter);
      };
    } catch(e){}

    try {
      const origQuery = navigator.permissions.query;
      navigator.permissions.query = (params) => (
        params.name === 'notifications' ? Promise.resolve({ state: Notification.permission }) : origQuery(params)
      );
    } catch(e){}
  });

  // Пытаемся загрузить cookies из профиля
  await loadCookies(profileId, page);

  // Создаём CDP сессию для перезаписи тайм-зоны и локали, георасположения, если нужно
  const client = await page.target().createCDPSession();
  try {
    await client.send('Emulation.setTimezoneOverride', { timezoneId: 'America/New_York' });
    await client.send('Emulation.setLocaleOverride', { locale: 'en_US' });
    // geolocation example (uncomment if needed)
    // await client.send('Emulation.setGeolocationOverride', { latitude: 55.75, longitude: 37.616, accuracy: 20 });
  } catch(e){ console.warn('CDP emulation not available:', e.message); }

  // Навигация + детекция Cloudflare IUAM и капчи
  console.log('Opening the address:', url);
  const response = await page.goto(url, { waitUntil: 'domcontentloaded', timeout: 60000 }).catch(e => null);

  // даём JS-челленджу время выполниться
  await sleep(8000);

  // дополнительно ждём навигации, если есть редиректы
  try { await page.waitForNavigation({ waitUntil: 'domcontentloaded', timeout: 5000 }).catch(()=>{}); } catch(e){}

  // детект
  const detection = await detectCaptchaOnPage(page);
  console.log('Detection:', detection.selectors, 'quickHtml:', detection.quick);
  console.log('Cookies:', detection.cookieNames);

  if (detection.hasCfClearance) {
    console.log('There is a Cloudflare clearance cookie — most likely the check was passed.');
  }

  // Если найдена капча — решаем через 2captcha
  if (detection.selectors.hasRecaptcha || detection.selectors.hasHcaptcha || detection.selectors.hasTurnstile) {
    const sitekey = detection.sitekey;
    console.log('sitekey detected:', sitekey);
    let captchaType = null;
    if (detection.selectors.hasRecaptcha) captchaType = 'recaptcha';
    else if (detection.selectors.hasHcaptcha) captchaType = 'hcaptcha';
    else if (detection.selectors.hasTurnstile) captchaType = 'turnstile';

    if (!sitekey) {
      // попытка вытащить sitekey из iframe URLs
      const iframeUrls = detection.iframeUrls || '';
      const sk = iframeUrls.match(/sitekey=([^&]+)/i);
      if (sk) {
        detection.sitekey = decodeURIComponent(sk[1]);
      }
    }

    if (!detection.sitekey) {
      console.warn('The sitekey could not be found automatically. Try manually specifying a sitekey or adding a detector.');
    } else {
      try {
        console.log('Sending the task to 2captcha (type=${captchaType})...');
        const methodMap = { recaptcha: 'userrecaptcha', hcaptcha: 'hcaptcha', turnstile: 'turnstile' };
        const submit = await submit2CaptchaTask({
          apiKey: API_KEY_2CAPTCHA,
          sitekey: detection.sitekey,
          pageurl: url,
          method: methodMap[captchaType]
        });
        console.log('2captcha requestId=', submit.requestId || submit.request);
        const requestId = submit.requestId || submit.request;
        const token = await poll2CaptchaResult({ apiKey: API_KEY_2CAPTCHA, requestId });
        console.log('2captcha token received, inserted into the page:', token.substring(0, 20) + '...');

        // инжектим токен и пробуем автоподать
        await injectCaptchaToken(page, token, captchaType);
        // ждём редиректа / обновления страницы
        await sleep(3000);
        await page.waitForNavigation({ waitUntil: 'domcontentloaded', timeout: 15000 }).catch(()=>{});
        console.log('We check the result after inserting the token...');
        const afterDetection = await detectCaptchaOnPage(page);
        console.log('After:', afterDetection.selectors, 'cookies:', afterDetection.cookieNames);
      } catch (e) {
        console.error('Error solving captcha:', e.message);
      }
    }
  } else {
    console.log('Captcha not found on the page (by selectors).');
  }

  // Если всё ок — сохраняем куки для последующих сессий
  await saveCookies(profileId, page);
  console.log('Cookies saved.');

  // дальше — собственный парсинг страницы
  const content = await page.content();
  // TODO: распарсить нужные данные
  console.log('Length HTML:', content.length);

  // Завершение
  await browser.close();
}

// ========== Запуск ==========

(async () => {
  try {
    const targetUrl = process.argv[2] || 'https://target-site.example/';
    await runScrape({ url: targetUrl, profileId: 'default' });
    console.log('Done.');
  } catch (e) {
    console.error('Fatal error:', e);
  }
})();