Прокси для исследования рынка: советы и лучшие практики

Кто владеет информацией, тот владеет миром. Представители бизнеса не понаслышке знают, как сложно ориентироваться в современном медийном поле: нужно мониторить отзывы о себе (а желательно ещё и о конкурентах), агрегировать множество каналов коммуникации с клиентами и параллельно анализировать действия соперников. Иначе можно потерять понимание ситуации и остаться за бортом. Актуальная информация о тенденциях на рынке обеспечивает достаточный уровень конкурентоспособности, позволяет выстраивать дальнейшие планы.

Как ни странно, но одним из важнейших инструментов для анализа конкурентов и любых маркетинговых исследований были и остаются прокси. О них и поговорим в данном материале.

Использование прокси-серверов в маркетинговых исследованиях

Если вам нужно просто посмотреть сайт конкурента или поискать информацию в сети, вы скорее всего даже не будете задумываться о проксировании своих запросов. Но как только возникает необходимость масштабного (массового) исследования, когда нужно получить большой объём данных с конкретного сайта или сразу с нескольких, то процесс сбора и анализа данных усложняется и существенно замедляется.

Чтобы избежать таких проблем, нужны специальные средства автоматизации: самописные скрипты или парсеры, готовый SEO-софт и софт для маркетологов, профильные web-сервисы, переделанные браузеры (антидетекты или headless-браузеры) и т.п. Почти все они работают через прокси.

Прокси – это посредники. Узлы в сети, которые могут перенаправлять ваши запросы от своего имени. Но зачем такое поведение нужно при маркетинговых исследованиях? Всё просто: крупные сайты активно защищаются от паразитного трафика, так как он создаёт ненужную нагрузку на их хостинг. А парсинг – это всегда нежелательный трафик. Поэтому сайты или web-сервисы стараются его вычленить и заблокировать.

Методы защиты могут быть разнообразными, но почти всегда нужно проанализировать несколько запросов с одного и того же IP. Например, запросы могут поступать слишком часто (живой человек не будет успевать даже посмотреть страницу при такой скорости загрузки) или с одинаковыми интервалами, количество подключений с одного IP может быть слишком большим и т.д.

Прокси позволяют обойти большинство механизмов защиты и обезопасить пользователя, скрыв его личность и подменив IP.

Преимущества использования прокси в исследованиях

Прокси для исследования рынка решают следующие задачи:

• Обход антифрод-систем за счёт частой смены IP-адресов при парсинге. Системы защиты просто не успевают наработать статистику по отдельному IP и, соответственно, не успевают блокировать такие подключения.
• Распараллеливание потоков сбора информации. Технически каждый процесс парсинга можно разнести на разные IP-адреса прокси, тогда на целевом сайте каждый запрос будет обрабатываться индивидуально: как если бы к сайту подключались разные пользователи и просматривали разные страницы.
• Диверсификация рисков. Даже если отдельный IP-адрес будет заблокирован, достаточно сменить выходной прокси на новый. Всё, можно продолжать работу. Процесс сбора данных будет непрерывным.
• Обеспечение конфиденциальности. Реальные данные владельца парсера никто не узнает (если только их намеренно не вводить на целевом сайте, например, при авторизации в своём аккаунте). Каждый прокси для системы защиты – это уникальный пользователь. В любой момент исследователь может сменить IP и авторизоваться в новом аккаунте (желательно специально созданном для парсинга).
• Обход географических ограничений. Запросы могут блокироваться на разных уровнях, например, на уровне страны или на уровне сайта. Прокси позволяют обходить любую из таких схем блокировок. Исследователю достаточно подобрать выходные IP-адреса в таких локациях, которые будут соответствовать регионам без блокировок.

Не стоит забывать, что сами по себе прокси отвечают только за смену расположения (за пересылку запросов от своего имени). Чтобы исключить остальные риски, важно подходить к вопросу комплексно: подробный гайд о скрейпинге без блокировок.

Выбор правильного типа прокси-сервера

От качества и от типа прокси будет зависеть степень доверия со стороны систем защиты целевого сайта/сервиса.

Дело в том, что разные типы IP-адресов по-разному воспринимаются такими системами:

• Серверные (датацентровые) прокси – это минимальный уровень доверия и самые быстрые блокировки. Даже если адрес не будет блокироваться полностью, например, если он уже занесён в черные списки или в спам-базы, ему чаще будет показываться капча. С одной стороны серверные прокси самые недорогие и стабильные, но с другой стороны их легко определить и «вырезать» из общего трафика. Серверные IP принадлежат компаниям, оказывающим услуги хостинга. Поэтому блокировка таких адресов никак не отразится на обычных пользователях, ведь никто не будет пользоваться сайтом или сервисом из дата-центра – с большой вероятностью это будет парсер. Подробный материал о преимуществах и недостатках серверных прокси.
• Резидентные прокси – это прокси на базе устройств, принадлежащих частным пользователям, точнее пользователям локальных провайдеров интернета (владельцам проводных и беспроводных сетей). Целевому сайту или сервису нет смысла блокировать свою основную аудиторию, поэтому баны, если и выдаются, то действуют недолго. В любом случае, IP между пользователями провайдера распределяются динамически, они действуют не больше дня-двух. Подробнее об особенностях резидентных прокси.
• Мобильные прокси – это прокси, работающие на базе IP-адресов операторов мобильной связи. Так как IPv4-адресов осталось мало, а пользователей у мобильных операторов много, то за одним IP может работать сразу большое количество реальных клиентов. Плюс IP может динамически меняться, если клиент перемещается от одной базовой станции к другой. В связи с этим антифрод-системы крайне осторожно блокируют мобильные IP, и блокировка действует недолго. Степень доверия здесь максимальная. Подробнее о мобильных прокси.

Прокси могут быть статичные или динамические (ротируемые). Подробнее о разнице.

• Статические прокси обычно работают на базе серверных адресов, так как во всех остальных типах прокси (резидентных и мобильных) IP ротируются как минимум силами провайдера связи. Соответственно, статическим прокси присущи все недостатки серверных IP: они легко отслеживаются и блокируются, для обеспечения качественного онлайн-исследования или парсинга, потребуется много статических IP, чтобы из них сделать ротируемые (скрипт ротации нужно будет либо писать с нуля, либо подбирать из имеющихся решений).
• Ротируемые прокси – это идеальные прокси для ресёрча. Обычно за ротацию выходных IP отвечает провайдер услуги. Смена адреса может происходить по разным условиям: по мере «отвала» рабочих IP, по таймеру, по API, по ссылке, при каждом новом запросе и т.п. При этом точка входа в прокси-сеть для пользователя остаётся статичной – каждый раз менять параметры подключения не нужно. Парсер работает как обычно, без необходимости обновления списка прокси.

Условно все прокси можно поделить на две группы:

• Бесплатные – прокси из общего доступа. Никаких гарантий или обязательств. Низкая стабильность и минимальное время жизни. Низкий уровень конфиденциальности и безопасности. В общем доступе можно найти только бесплатные серверные прокси. Поэтому для серьёзных бизнес-задач бесплатные прокси не подходят.
• Платные – с гарантиями и понятными условиями аренды. Высокая стабильность, хороший охват, доступ к резидентным и мобильным IP.

Материал по теме: сравнение платных и бесплатных прокси.

Итого, для масштабных исследований рынка (в том числе для мониторинга позиций в поисковых системах, для отслеживания цен, парсинга сайтов конкурентов и т.п.) лучше всего подходят платные ротируемые мобильные или резидентные прокси. В редких случаях, когда целевые сайты имеют слабые системы защиты, могут подойти ротируемые серверные прокси. Тогда на трафике можно неплохо сэкономить.

Чем больше прокси в пуле провайдера, чем точнее условия таргетинга и ротации, тем лучше.

Рекомендации по использованию прокси для исследования рынка

Во-первых, выбирайте анонимные прокси, которые защищают подключение паролем (или как альтернатива – белыми списками). Так вы будете уверены, что прокси не использует кто-то другой.

Во-вторых, выбирайте прокси-сервис с точным таргетингом. Так вы сможете подбирать, например, IP-адреса из сети одного и того же провайдера связи (резидентные или мобильные прокси), что обеспечит максимальную степень доверия со стороны систем защиты. Процесс ротации IP в сети того же провайдера будет выглядеть как динамическая замена адреса (например, при переподключении с того же ПК/смартфона).

Плюс с помощью таргетинга можно проверять локальную выдачу и алгоритмы персонализации целевых сайтов. Это может быть важно для определённых типов исследований.

В-третьих, следите за балансировкой нагрузки на один и тот же сайт/web-сервис. Слишком частые запросы и действия с одинаковым шагом по времени легко вычленяются и быстро блокируются. Чтобы избежать блокировок, выставляйте разные таймеры между запросами с одного IP (с элементом случайности) или меняйте IP при каждом новом обращении.

Если нужно собрать сразу большой объём данных с одного сайта, используйте параллельные подключения. Каждая сессия должна реализовываться через отдельный прокси – сколько потоков, столько и прокси.

В-четвёртых, задействуйте headless-браузеры или антидетекты. Они легко подключаются по API и позволяют работать с динамическим контентом. Многие современные сайты задействуют AJAX или JavaScript – в итоге конечный HTML-код формируется непосредственно в браузере (простой парсер буквально может не найти ничего на странице).

А ещё использование реального рендеринга позволяет обойти большинство популярных ловушек – скрытых форм ввода и специальных ссылок.

В-пятых, внимательно следите за имитацией действий «человека». Например, можно позаботиться о ручном вводе в полях, о перемещении курсора и о неравномерных итерациях прокрутки страниц и пр. Чем правдоподобнее будет поведение, тем ниже будет риск блокировок.

В-шестых, не забывайте о технических заголовках и о цифровых отпечатках. Сайты и антифрод-системы могут иметь сложные алгоритмы определения ботов и парсеров. Малейшая мелочь может выдать антидетект-браузер или то, что вы пользуетесь прокси.

В-седьмых, обращайте внимание на содержимое файла robots.txt. В нём обозначены правила работы с содержимым сайта. Отдельные разделы могут быть запрещены для обхода. Соответственно, любая попытка попасть в запрещённый раздел может быть воспринята как попытка атаки/парсинга.

Более полный материал о том, как парсить сайты без блокировок.

Потенциальные проблемы и решения

Легальность парсинга. Если вы собираете данные из открытых частей сайта (со страниц, которые видят любые другие пользователи), сложно будет установить хоть какую-то вину. Ваши действия будут идентичны действиям любого другого пользователя. Единственное, на что может надавать администрация сайта – нарушение политик честного использования ресурса или доступ к запрещённым частям системы (что маловероятно, если вы будете учитывать ограничения из файла robots.txt).

Отдельно могут идти обвинения в незаконном использовании интеллектуальной собственности: текстов, изображений, видео и т.п. Поэтому не копируйте и не распространяйте полученный контент. Посчитать реальный урон, наносимый вашей нагрузкой во время парсинга, нереально.

Если вы используете парсинг для автоматизации рутинных действий обычного пользователя, то никаких проблем не будет.

Легальность прокси. В некоторых странах активно борются со средствами для обхода региональных блокировок. Прокси могут использоваться как такие средства, поэтому перед началом работы уточните законодательство стран, в которых планируете использовать точки входа и выхода из прокси-сети. Но это большая редкость. В большинстве стран использование прокси не является преступлением и вполне легально.

Зависимость данных от региона. Многие сайты могут отдавать разные версии страниц и контента в разных странах и регионах. Точно также поступают поисковые системы (последние вообще могут персонализировать выдачу на основе предыдущих запросов и действий клиента). По этой причине нужно заранее уточнить этот момент и определиться с расположением прокси – с точками выхода и параметрами таргетинга (подбора и ротации новых адресов).

Тот же принцип можно использовать для сравнения разных региональных версий целевых сайтов во время масштабного исследования.

Некачественные прокси. Повлиять на качество прокси вы никак не можете. По этой причине нужно изначально выбирать надёжного провайдера услуги: на основе его истории и отзывов реальных пользователей. Если вам попался плохой провайдер, отказывайтесь от его услуг и выбирайте другого. Если не хотите тратить напрасно время и силы – сразу выбирайте Froxy.

Выводы и рекомендации

Прокси для мониторинга и полномасштабных маркетинговых исследований просто незаменимы. С их помощью можно распараллелить потоки сбора информации и избежать ненужных блокировок.

Идеальным вариантом для исследований будут ротируемые мобильные или резидентные прокси. В отдельных случаях, когда целевой сайт имеет слабую систему защиты, вполне могут подойти ротируемые серверные прокси.

Бесплатные прокси без гарантий качества и стабильности только добавят проблем.

Найти качественные прокси с ротацией можно у нас. Froxy – это свыше 10 млн. IP, точный таргетинг и удобные условия автоматической ротации. Наши прокси совместимы с любым профильным софтом и сервисами. Оплачивается только трафик, количество параллельных подключений может быть очень большим – до 1000 портов на аккаунт.