Скрапинг сложных JavaScript-сайтов без API: хитрости работы с динамическим контентом

from playwright.sync_api import sync_playwright

# Основная функция парсинга, принимает в качестве аргумента целевую страницу
def run(url):
    with sync_playwright() as p:
        # Запускаем экземпляр браузера в headless-режиме
        browser = p.chromium.launch(headless=True)

        # Открываем новую вкладку
        page = browser.new_page()

        # Переходим на указанный адрес
        page.goto(url)

        # Ждём появления карточек с товарами
        page.wait_for_selector(".product-card, .catalog-item")

        # Используем локаторы для поиска
        cards = page.locator(".product-card, .catalog-item")

        # Считаем количество найденных элементов
        count = cards.count()

        # Печатаем данные в консоль
        print(f"Elements found: {count}")

        # Обработка массива элементов
        for i in range(count):
            title = cards.nth(i).locator(".title, .product-title, h3").inner_text(timeout=1000) if cards.nth(i).locator(".title, .product-title, h3").count() else "-"
            price = cards.nth(i).locator(".price, .product-price").inner_text(timeout=1000) if cards.nth(i).locator(".price, .product-price").count() else "-"
            
            # Выводим в консоль название товара и цену
            print(f"{i+1}. {title} — {price}")

        # Закрываем браузер
        browser.close()

if __name__ == "__main__":
    run("https://example.com")  # замените на нужный сайт

// устанавливаем и подключаем модуль fetch — npm i node-fetch@2
const fetch = require('node-fetch');

// Основная функция
async function callApi() {
    // Делаем свой вызов API
    const url = 'https://example.com/api/products?page=1';

    // Отправляем запрос через fetch
    const res = await fetch(url, {
        headers: {
            'Accept': 'application/json',
            'User-Agent': 'Mozilla/5.0 ...'
            // передайте актуальные заголовки: Authorization, X-CSRF-Token и т.д.
        }
    });

    // Наполняем переменную полученными данными
    const data = await res.json();

    // Выводим количество найденных элементов в консоль
    console.log(data.items.length);
}

callApi();

def run(url, max_scroll=5, pause=2):
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()
        page.goto(url)

        # сколько прокруток сделать
        for i in range(max_scroll):
            # скроллим в самый низ
            page.evaluate("window.scrollTo(0, document.body.scrollHeight)")
            time.sleep(pause)  # ждём подгрузку контента
            print(f"Scroll {i+1}/{max_scroll} done")

        # Далее код вашего парсера

# Определяем лимит «кликов»
def run(url, max_clicks=10):
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()
        page.goto(url)

        # Стартовое значение переменной со счётчиком кликов
        clicks = 0

        # Пока значение счётчика меньше максимума…
        while clicks < max_clicks:
            try:
                # ищем кнопку
                button = page.locator("button:has-text('Show more'), .load-more, .show-more")
                if not button.count():
                    print("The 'Show more' button has not been found — we are stopping.")
                    break

                # кликаем по кнопке
                button.first.click()
                page.wait_for_timeout(2000)  # ждём загрузку новых данных

                # Увеличиваем счётчик на единицу
                clicks += 1
                print(f"Click on the button {clicks}/{max_clicks}")
            except Exception as e:
                print(f"Error when clicking: {e}")
                break

        # Далее собираем данные после всех кликов

from playwright.sync_api import sync_playwright

def run():
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=False)  # опцию отключаем намеренно, чтобы видеть процесс вживую
        page = browser.new_page()

        # открываем сайт
        page.goto("https://example.com")  # Замените целевой URL на свой.

        # вводим запрос в строку поиска
        page.fill("input[name='q']", "smartphone")  # Замените запрос на свой

        # жмём Enter (имитация клавиши)
        page.press("input[name='q']", "Enter")

        # ждём результатов
        page.wait_for_selector(".search-results")  # Можно заменить на таймаут

        # кликаем на первый товар
        page.locator(".search-results .item").first.click()

        # ждём карточку товара
        page.wait_for_selector(".product-card")
        print("Product card has been successfully opened!")

        browser.close()

if __name__ == "__main__":
    run()

from playwright.async_api import async_playwright
import asyncio

async def main():
    # Данные прокси
    proxy_server = "http://proxy.example.com:8080"  # ваш прокси сервер
    proxy_username = "your_username"  # логин
    proxy_password = "your_password"  # пароль

    # Запуск headless-браузера с прокси
    async with async_playwright() as p:
        browser = await p.chromium.launch(
            headless=False,
            proxy={
                'server': proxy_server,
                'username': proxy_username,
                'password': proxy_password
            }
        )

        # Открываем страницу
        page = await browser.new_page()

        # Проверяем IP через тестовый сайт
        await page.goto("https://httpbin.org/ip")

        # Получаем результат
        content = await page.content()
        print("IP proxy:", content)

        # Закрываем браузер
        await browser.close()

# Запуск скрипта
asyncio.run(main())

from playwright.sync_api import sync_playwright

def run():
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=False)  # отключаем headless-режим, чтобы видеть капчу
        page = browser.new_page()

        # Загружаем целевой сайт
        page.goto("https://example.com")  # Можете указать свой адрес

        # Проверяем наличие блока с капчей (например, reCAPTCHA iframe)
        try:
            page.wait_for_selector("iframe[title='reCAPTCHA']", timeout=5000)
            print("The captcha has been detected! Solve it manually...")

            # Ожидание, пока пользователь решит капчу и появится новый контент
            page.wait_for_selector("#content-loaded", timeout=0)
            # timeout=0 означает бесконечное ожидание
            print("The captcha is solved, we continue to work.")

        except:
            print("The captcha did not appear, we continue to work.")

        # Дальнейший парсинг или действия
        browser.close()

if __name__ == "__main__":
    run()

from playwright.async_api import async_playwright
import asyncio

async def main():
    async with async_playwright() as p:
        browser = await p.chromium.launch(
            headless=True,
            # Список аргументов можно расширить
            args=[
                '--no-sandbox',
                '--disable-blink-features=AutomationControlled',
                '--disable-dev-shm-usage',
                '--disable-features=VizDisplayCompositor',
                '--disable-background-timer-throttling',
                '--disable-backgrounding-occluded-windows',
                '--disable-renderer-backgrounding',
                '--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
            ]
        )

        page = await browser.new_page()

        # Скрываем атрибуты headless-браузера с помощью скрипта запуска браузера
        await page.add_init_script("""
        Object.defineProperty(navigator, 'webdriver', {
            get: () => undefined,
        });
        delete navigator.__proto__.webdriver;
        """)

        # Обращаемся к целевой странице
        await page.goto('https://site.com/')

# Запуск асинхронной функции
asyncio.run(main())

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import time

# Настройка Selenium
def setup_driver():
    chrome_options = Options()
    chrome_options.add_argument("--headless")  # Убрать для отладки
    chrome_options.add_argument("--no-sandbox")
    chrome_options.add_argument("--disable-dev-shm-usage")
    driver = webdriver.Chrome(options=chrome_options)
    return driver

# Парсинг динамического контента
def parse_dynamic_content(url):
    driver = setup_driver()
    try:
        # Загружаем страницу
        driver.get(url)

        # Ждем загрузки динамического контента
        wait = WebDriverWait(driver, 10)
        wait.until(EC.presence_of_element_located((By.CLASS_NAME, "dynamic-content")))

        # Даём время на выполнение JavaScript
        time.sleep(2)

        # Получаем готовый HTML после выполнения JS
        page_source = driver.page_source

        # Передаем его в BeautifulSoup для парсинга
        soup = BeautifulSoup(page_source, 'html.parser')

        # Извлекаем данные
        products = []
        product_elements = soup.find_all('div', class_='product-item')  # Здесь указан класс, идентифицирующий все карточки с товарами

        # Далее каждая карточка разбирается на составляющие, это делается переборкой массива в цикле
        for product in product_elements:
            name = product.find('h3')
            price = product.find('span', class_='price')
            description = product.find('p', class_='description')

            # На основе найденных данных наполняется уже другой массив
            products.append({
                'name': name.text.strip() if name else 'No name',
                'price': price.text.strip() if price else 'No price',
                'description': description.text.strip() if description else 'No description'
            })

        return products

    finally:
        driver.quit()

# Пример использования
if __name__ == "__main__":
    url = "https://example.com/dynamic-products"
    data = parse_dynamic_content(url)
    for item in data:
        print(f"Name: {item['name']}")
        print(f"Price: {item['price']}")
        print(f"Description: {item['description']}")
        print("-" * 50)