--- title: Что такое юзер-агенты для веб-скрапинга и как их использовать description: Строка агента пользователя помогает определить браузер, тип устройства и операционную систему при скраппинге. Узнайте больше в статье. --- [Блог Froxy | Новости, полезные статьи о использовании прокси](https://blog.froxy.com/ru) # [Что такое юзер-агенты для веб-скрапинга и как их использовать](https://blog.froxy.com/ru/what-are-user-agents-for-web-scraping) Written by [Команда Froxy](https://blog.froxy.com/ru/author/team-froxy) | 6 июн. 2024 г., 09:00:00 Когда ваш парсер обходит страницы, он должен как-то представиться сайту. За имя клиентского приложения отвечает параметр user-agent. От него могут зависеть различные опции дизайна и прочее. Но многие крупные сайты используют значения строки user-агента в первую очередь для организации защиты от злонамеренных действий, в том числе для блокировки парсинга. Ниже расскажем, что такое пользовательские агенты и как сделать так, чтобы парсер не блокировался антифрод-системами. ## Что такое User-агенты? User Agent – это текстовый идентификатор, который программное обеспечение отправляет внутри HTTP-запросов при организации подключений к сайтам или web-сервисам. Если по-простому, то это условное имя браузера или другой программы: поискового бота, паука и т.п. **Примеры пользовательского агента:** - Актуальная версия Google Chrome (v 15), работающая на ПК под управлением ОС Windows, представляется так – «Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) **Chrome/155.0.0.0 Safari/537.36**» - Браузер Firefox – «Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:121.0) **Gecko/20100101 Firefox/121.0»** - Chrome, но уже на мобильных устройствах – «Mozilla/5.0 **(Linux; Android 10; K)** AppleWebKit/537.36 (KHTML, like Gecko) **Chrome/155.0.0.0 Mobile Safari/537.36»** - Основной поисковый робот Яндекса – «Mozilla/5.0 (compatible; **YandexBot/3.0**; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.268» - Поисковый бот Google – «Mozilla/5.0 (compatible; **Googlebot/2.1**; +http://www.google.com/bot.html)» - И т.д. Можно заметить, что внутри строки юзер-агента передаётся сразу несколько параметров: - Текущая платформа (тип операционной системы, её разрядность и архитектура процессора, например, ARM, Win64, Linux и т.п.). - Разработчик браузера (Chrome, Safari, Mozilla). - Версия браузера (для мобильных или десктопов, номер сборки). Наиболее внимательные читатели заметят, что строки User-агентов у разных браузеров очень похожи, но есть у них и отличия. Как раз по этим отличиям сайты и определяют тип браузера. Если хотите больше подробностей, то на Wikipedia можно найти причины такой «похожести». Всё дело в том, что в период активной борьбы за рынок они пытались представляться браузерами конкурентов. В итоге современные строки user-agent могут содержать одновременно до 5 имён. ## Немного статистики: какой user-agent выбрать для парсера По логике вещей, самым распространённым юзер-агентом будет тот, который используется на наибольшем числе устройств. На текущий момент это Google Chrome стабильной версии, работающий в ОС Android. По [статистике Statcounter](https://gs.statcounter.com/os-market-share) Андроидом пользуется свыше 43% всех пользователей сети. Если говорить о десктопах, то тут безусловный лидер – Windows + тот же Chrome. Более 27% от всех устройств, имеющих выход в сеть. Давно не меняющийся лидер среди всех браузеров, а значит и самый популярный user-agent – Google Chrome. От его имени отправляется [более 65%](https://gs.statcounter.com/browser-market-share) всех интернет-запросов. Итак, самые беспроигрышные варианты для указания в HTTP-запросах при тонкой настройке парсинга: - Для десктопов – Win64 + стабильная версия Хрома. На момент написания статьи это Chrome 155. То есть строка юзер-агента должна выглядеть так: «**Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/155.0.0.0 Safari/537.36**» - Для мобильных – Android + стабильная версия Хрома. Версии десктопного и мобильного браузера обычно совпадают. Строка юзер-агента будет выглядеть так: «**Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/155.0.0.0 Mobile Safari/537.36»** ## Как и для чего используется User-Agent? Стоит ли упоминать, что user-agent – это один из самых важных параметров цифрового отпечатка? Обратите внимание! Для стабильного парсинга без блокировок недостаточно подделать User-Agent, сайты могут собирать о клиентских браузерах/приложениях гораздо больше информации. Подробности в материале про [лучшие практики парсинга](https://blog.froxy.com/ru/the-essential-guide-to-successful-web-scraping?hsLang=ru). Например, могут пригодиться [безголовые браузеры](https://blog.froxy.com/ru/headless-browser-what-is-it-and-how-to-use-it-for-scraping?hsLang=ru) и [качественные прокси](https://froxy.com/ru/residential-proxies). Ниже опишем наиболее популярные задачи, которые позволяет решить анализ строк с пользовательским агентом: - **Ведение статистики и сбор данных о посетителях** сайта: какими браузерами они пользуются, на каких операционных системах работают и с каких гаджетов выходят в сеть. Чем лучше вы будете понимать свою аудиторию, тем качественнее контент сможете им предложить. - **Таргетинг рекламы**. Специальные небольшие баннеры можно показывать только владельцам Android-устройств или тем, кто работает с iOS. Большие баннеры лучше показывать только на десктопах и т.п. - **Оптимизация дизайна**. Каждый тип устройства может получать ту версию сайта, которая лучше всего для него подходит. На версию браузера можно завязать отдельные CSS-свойства и персонализировать контент. - **Обнаружение вредоносного трафика и блокировка ботов**. Многие крупные сайты открыто запрещают массовые запросы и стараются исключить из общего потока боты и парсеры, создающие паразитную нагрузку. User-agent при этом играет важную роль, так как именно он отвечает за идентификацию клиентского ПО. В зависимости от полученных параметров пользовательского агента могут запускаться те или иные скрипты безопасности. ## Нужно ли использовать user-agent при парсинге? Конечно нужно. Если вы будете отправлять запросы к сайту не представившись, то это будет первый сигнал для блокировки паразитного трафика. Тут скорее вопрос в том, как и кем представиться: - Многие сайты сознательно запрещают обход страниц ботами и поисковыми пауками (подробнее [о разнице между парсингом и web-краулингом](https://blog.froxy.com/ru/advantages-and-differences-of-web-crawling-and-web-scraping/?hsLang=ru)). Сайты могут блокировать посещения только конкретным ботам, а могут вести белый список (то есть запрещать краулинг всем, кроме списка избранных). - Если прописать чужое имя бота, то принадлежность легко может быть проверена за счёт обратных запросов – при анализе IP-адресов на соответствие принадлежности к доменным именам. Например, тот же Yandex официально описывает процедуру проверки. - Если представиться популярным браузером пользователя, то могут инициироваться дополнительные средства проверки цифровых отпечатков – наличие поддержки JavaScript, параметры юзерагента в JavaScript-окружении (оно прописывается отдельно от строки в HTTP-запросе, запрашивается через функцию window.navigator.userAgent), набор шрифтов, куки и т.п. - Если представиться устаревшим браузером, то это будет одним из наиболее вероятных атрибутов парсера. - Если версия браузера будет придуманной (несуществующей), то бан можно получить просто так. - И т.д. ## Лучшие практики и рекомендации – как избежать блокировки по user-агенту **Совет 1. Используйте user agent, соответствующий вашему реальному устройству.** Всё дело в том, что реальную операционную систему и аппаратную платформу можно проверить разными способами. Продвинутые антифрод-системы могут сверять списки предустановленных шрифтов. Естественно, в Linux-системах и на MacOS разные дефолтные шрифты. С очень большой вероятностью внутри бесплатного дистрибутива Ubuntu не окажется проприетарных шрифтов, защищённых авторскими правами Microsoft. Не менее интересный приём – HTML5 Canvas-отпечатки. С помощью встроенных средств браузера на странице рисуются определённые элементы. В разных операционных системах отрисовка происходит по-разному. Соответственно, собирая цвета из определённых участков страницы, можно проверить соврал пользователь в своём юзер-агенте или нет. По аналогии могут применяться скрипты, проверяющие платформу на основе других технологий: WebGL, WebRTC и т.п. **Совет 2. Используйте актуальные стабильные версии браузеров.** Тоже интересный момент: внутри user-агента лучше всего прописать версию браузера, отстающую от текущей стабильной ветки не более чем на 2 версии. Дело в том, что устаревшие версии браузеров исключаются из списка поддерживаемых многими разработчиками. Продолжая пользоваться старым браузером, вы рискуете пострадать из-за отсутствия совместимости и поддержки актуальных веб-стандартов. Команды программистов крупнейших web-сайтов и сервисов могут использовать такой признак для выявления подозрительного трафика. Плюс, многие антидетект-браузеры работают на старых версиях Chromium. Это ли не повод детальнее присмотреться к подключившимся клиентам? **Совет 3. Ротируйте IP-адреса и отпечатки** Чтобы точнее выявить проблемные запросы, антифрод-системам нужно время. Например, они могут засекать задержки между запросами с одного IP-адреса, могут сравнивать идентификаторы, прописанные в cookies, а анализировать строки с user-агентами. Меняя цифровые отпечатки в паре с IP-адресами, вы подключаетесь к целевому сайту каждый раз как будто с нового устройства. По крайней мере, именно так это выглядит со стороны антифрод систем. Защитные механизмы просто не успевают сработать. ## Выводы Анализ пользовательского агента – это основа многих защитных систем и механизмов на крупных сайтах. Да, только одного user-агента бывает недостаточно, поэтому параметр изучается вкупе с другими данными: куки, HTML5-canvas, WebGL и пр. Указывать user agent при парсинге нужно обязательно, но делать это нужно правильно, чтобы антифрод-системы не могли найти изъянов. Помочь с обходом блокировок и с отправкой большого числа запросов к одному и тому же сайту могут ротационные прокси. Качественные мобильные и резидентные прокси можно купить у нас. **Froxy** – это более 120 млн. IP с таргетингом до уровня города. Оплачивается только трафик, количество параллельных подключений может быть любым (до 1000 портов в одни руки). [View full post](https://blog.froxy.com/ru/what-are-user-agents-for-web-scraping) ```json { "@context" : "http://schema.org", "@type" : "BlogPosting", "author" : { "@type" : "Person", "name" : "Команда Froxy" }, "dateModified" : "2026-10-14T15:49:19.539Z", "datePublished" : "2024-06-06T09:00:00Z", "headline" : "Юзер-агенты для веб-скрапинга: Что это такое и как использовать", "image" : { "@type" : "ImageObject", "height" : 1104, "url" : "https://blog.froxy.com/hubfs/blog/what-are-user-agents-for-web-scraping/user-agents.png", "width" : 2208 }, "mainEntityOfPage" : "https://blog.froxy.com/ru/what-are-user-agents-for-web-scraping", "publisher" : { "@type" : "Organization", "logo" : { "@type" : "ImageObject", "height" : 60.0, "url" : "https://25353777.fs1.hubspotusercontent-eu1.net/hubfs/25353777/top-bar-logo.svg", "width" : 154.2857 }, "name" : "Блог Froxy | Новости, полезные статьи о использовании прокси " } } ```