Рынок рекламы непрерывно растёт, при этом темпы роста онлайн-рекламы значительно превышают темпы роста всех остальных видов рекламы (на ТВ, на радио, фасадная реклама и т.п.). И эта тенденция имеет глобальный характер. На всякий случай ссылка на исследование от Markets and Markets (от 2023 года).
Естественно, заказывая подрядчикам показы своих объявлений на различных сайтах и в сетях контекстных объявлений хочется каких-то внятных гарантий: чтобы был обеспечен должный охват, чтобы материалы действительно показывались (а не просто накручивались счётчики в статистике), чтобы был настроен адекватный таргетинг.
Но тут возникает проблема – как проконтролировать подрядчиков? В этом материале поговорим о вариантах проверки онлайн-рекламы и о том, как это может быть связано с арендой прокси.
Что такое проверка рекламы?
Проверка рекламы – это процесс качественного и количественного контроля показа рекламных объявлений на предмет соответствия условий их показа партнёрским соглашениям. Например, может проверяться регион показа, попадание в целевую аудиторию, время показа и другие параметры таргетинга.
Контроль подрядчиков, отвечающих за показ ваших рекламных объявлений, позволяет решить ряд связанных проблем:
- Минимизация и оптимизация расходов на рекламу (вы можете проверять работоспособность той или иной рекламной стратегии, развивать новые направления или отказываться от невыгодных).
- Создание доказательной базы для решения споров (чтобы можно было доказать недобросовестное поведение подрядчика и потребовать от него соразмерной компенсации или устранения проблем).
- Проверка соответствия условий реально показа объявлений условиям, обозначенным в договоре с рекламным агентством или иными партнёрами.
- Выявление паразитного трафика и некачественных площадок, попытки накрутки и использования ботов (чтобы отказаться от них в дальнейшем).
- Оперативное обнаружение ошибок (неработающих ссылок, отсутствующих изображений, неправильных цен и т.п.).
В отдельных случаях может потребоваться мониторинг конкурентов – для анализа их рекламной политики и маркетинговых стратегий.
Проблемы, связанные с проверкой рекламы
Чтобы реализовать обозначенные задачи, нужна качественная техническая составляющая – то есть всё то, что позволит эмулировать поведение пользователя, виртуализировать параметры его цифрового отпечатка (для проверки условий таргетинга) и местоположения, делать скрины и собирать доказательную базу.
Фактически скрипт проверки рекламы мало чем отличается от парсеров. Только он нацелен не на основной контент, а на блоки рекламных объявлений. Такой профильный парсер может работать на разных целевых сайтах или на каком-то одном конкретном. В первом случае под каждый целевой ресурс нужно создать свой обработчик структуры страниц.
Как и в случае с обычными парсерами, скрипты для проверки рекламы могут столкнуться с попытками блокировки:
- Из-за повторяющихся автоматических запросов с определённым шагом тайминга.
- Из-за неправильных или подозрительных HTTP-заголовков внутри HTTP-запросов и ответов к серверу (к целевому сайту).
- Из-за попадания в формы или на страницы-ловушки (URL-адреса, которые не могут увидеть обычные пользователи, но могут увидеть парсеры из-за последовательного обхода HTML-кода).
- Из-за отсутствующей поддержки JavaScript и Ajax (касается многих динамических сайтов и PWA-приложений, которые почти полностью состоят из исполняемых скриптов, отрабатываемых на стороне браузера).
- Из-за отказа в решении капчи.
- И т.п.
Подробные проблемы с блокировкой парсеров мы описывали в материале «Парсим как профи! Лучшие практики для веб-скрапинга без блокировок».
Зачем вообще проверять показ рекламы? Подрядчики или конечные сайты, которые оказывают услуги ротации баннеров на своих страницах, могут:
- Подтасовывать результаты статистики (показов, переходов и обращений к формам).
- Самостоятельно накручивать клики и другую активность с помощью средств автоматизации (ботов и скриптов).
- Скрывать рекламные объявления или показывать их с нарушениями – под слоем других элементов, в уменьшенных фреймах, не том месте, которое оговаривалось в договоре, и т.п.
Плюс, сервисы-посредники могут не контролировать со своей стороны условия таргетинга: местоположение клиентов, их интересы, цифровые отпечатки и т.п.
Всё это в итоге приводит к тому, что ваш рекламный бюджет улетает в трубу и не приносит ожидаемого выхлопа: в виде повышения узнаваемости, роста продаж или продвижения новых товаров/услуг.
Обратите внимание, для максимально качественного контроля рекламы могут потребоваться не просто скрипты парсинга HTML, но и целые комплексные решения, имеющие элементы компьютерного зрения (для распознавания скриншотов), средства для работы с большим числом пользовательских профилей (антидетект-браузеры), API для эмуляции поведения пользователей (headless-браузеры) и внешние сервисы для разгадывания капчи (тоже с компьютерным зрением или с привлечением ручного труда).
Прокси-серверы для рекламы и верификация рекламы
Теперь расскажем о том, как связаны между собой процесс проверки показа рекламы и большие базы прокси.
Как и говорилось выше, целевые сайты (интернет-ресурсы, на которых показываются ваши объявления или объявления конкурентов), могут защищаться доступными им способами – они обнаруживают паразитный трафик и блокируют все автоматические запросы.
Естественно, многие проверки безопасности завязаны на анализ структуры HTTP-заголовков/запросов от браузера, а также на анализ IP-адреса.
По IP-адресу можно узнать примерное местоположение пользователя, оператора его связи, владельца пула, а также тип подключения (мобильная сеть, домашняя или корпоративная).
И если профиль пользователя не соответствует параметрам IP, то это первая причина для блокировки, или как минимум – повод для запроса повторной авторизации/проверки пользователя на «человечность» (капча, решение логических задач, подтверждение авторизации дополнительными факторами и прочее). Например, когда клиент мобильного приложения пытается подключиться с серверного IP, то у сайта могут возникнуть обоснованные подозрения по поводу безопасности его сессии.
Как прокси-серверы используются в процессах проверки рекламы
Даже если у вас на руках будут качественные пользовательские профили (цифровые отпечатки), то они обязательно должны работать в паре с не менее качественными IP-адресами.
А где взять IP, подходящий под ваши параметры? В сети прокси-серверов.
Про соответствие IP-адреса и пользовательского профиля мы уже упоминали выше. Рекламные сети умеют определять много разных параметров по IP, включая местоположение, тип подключения и пр. А это значит, что прокси для проверки рекламы не должны быть просто «прокси». Они должны максимально соответствовать реальным клиентам из конкретного региона или даже из определённого города.
Чтобы приобрести прокси, соответствующие вашим критериям, нужно знать об их типах и о связанных с ними особенностях.
Различные типы прокси для проверки рекламы
Прокси бывают разными: прямые и с обратной связью (back-connect прокси), прозрачные и анонимные, публичные (общедоступные) и частные (приватные, выдаваемые в одни руки), статические и динамические. Но наиболее принципиальное деление прокси для проверки рекламы – по принадлежности к типу устройства.
В частности, здесь выделяют: мобильные прокси, резидентные и серверные (корпоративные) прокси.
- Мобильные прокси работают на базе адресов мобильных операторов. Они имеют максимальную степень доверия со стороны систем безопасности (минимум капчи и блокировок), поэтому в большинстве случаев их аренда обходится дороже. Из минусов – подключения имеют слабую стабильность (время жизни) и минимальную ширину канала (во многих странах до сих пор используются сети 3G). Максимум подробностей о мобильных прокси, их преимущества и недостатки.
- Резидентные прокси работают на базе адресов операторов домашнего интернета (это знакомые многим проводные сети). Степень доверия здесь немного ниже, но зато выше стабильность и ширина канала (скорости подключения). Как и в случае с мобильными прокси, провайдеры таких услуг могут предложить большой пул адресов, что обеспечивает оперативную ротацию IP, вышедших из строя или не удовлетворяющих критериям подбора. Максимум подробностей о резидентных прокси, их преимущества и недостатки.
- Серверные прокси работают на базе адресов, принадлежащих компаниям. Обычно это хостинги, IT-инфраструктуры или собственные (корпоративные) дата-центры, полноценные ЦОДы. Корпоративные адреса вызывают наибольшие подозрения со стороны систем защиты, поэтому для задач парсинга и проверки рекламы они подходят слабо. Их применение – работа с тяжёлым контентом, когда нужен безлимит или широкий стабильный канал доступа. Если пул корпоративных адресов будет большим, то их можно попытаться использовать по аналогии с резидентными прокси. Но стоит учесть, что количество ошибок из-за блокировок IP здесь будет больше.
Отдельно стоит упомянуть об удобстве подбора адресов и о способе подключения прокси к профильному софту. Классические прямые прокси обычно подключаются списками, последние выгружаются в определённом формате: IP:порт@логин:пароль и т.п.
Back-connect прокси можно подключать всего одной строкой или с помощью нескольких портов. Технически это те же прокси, в том же самом формате (IP:порт@логин:пароль и т.п.), но входящие сюда запросы маршрутизируются внутри сети и могут выходить совершенно с других IP. Соответственно, ротация неработоспособных прокси может производиться автоматически, как и подбор прокси по вашим критериям: тип адреса, местоположение, время удержания и прочее. Параметры подключения при этом будут оставаться прежними, так как точка входа в прокси-сеть не меняется.
Естественно, прокси с обратной связью получаются удобнее и практичнее, можно сэкономить массу времени на подключении и автоматической ротации.
Преимущества и ограничения использования прокси для рекламы
Только прокси-сервисы с большим охватом и точным таргетингом помогут вам эмулировать местоположение так, чтобы системы защиты и системы ротации рекламных объявлений воспринимали посетителя как реального клиента.
Ни одно другое техническое решение так не сможет. Например, VPN-сети всегда имеют слабый выбор адресов и не обеспечивают условий их подбора в конкретных локациях.
С другой стороны, одних только прокси недостаточно. Чтобы процесс проверки рекламных объявлений был максимально качественным, нужно предусмотреть и другие технические моменты:
- База цифровых отпечатков, на основе которых будут анализироваться профили пользователей и показываться реклама. Например, их нужно предварительно «прогреть» за счёт посещения тематических сайтов и ввода определённых поисковых фраз в Google, Yandex, Bing и т.п. Для ротации профилей применяются специальные программные комплексы – антидетект-браузеры.
- Список целевых ресурсов, на которых будет проверяться показ рекламы (+ нужно определиться с частотой их обхода).
- Решение капчи в случае подозрений на автоматический трафик (разгадывать капчу можно и самостоятельно, но если речь о тысячах параллельных запросов, то понадобятся системы автоматизации).
- Выполнение JavaScript. Стандартные HTML-парсеры не умеют работать с JS-скриптами. Соответственно, нужно сначала отрисовать страницу в полноценном браузере и только потом анализировать её содержимое. Для этого нужны Headless-браузеры и специальные библиотеки для организации API.
- В зависимости от сложности систем защиты на целевых сайтах нужно продумать системы их обхода (разные задержки, правильные HTTP-заголовки, поддержка JS, обход ловушек и т.п.).
Обязательно посчитайте примерный трафик и все сопутствующие расходы. На основе этих данных можно получить адекватные цифры для будущего бюджета и рассчитать рентабельность процесса проверки рекламы. В отдельных случаях может быть дешевле контролировать рекламу вручную или вообще её не контролировать (так тоже бывает).
Выводы и рекомендации
Если у вас большие расходы на интернет-рекламу и на вас трудится большое число подрядчиков или партнёров, логично автоматизировать процесс проверки рекламных кампаний. Это поможет оптимизировать расходы и избежать спекуляций со стороны исполнителей.
Автоматическая проверка рекламных объявлений фактически совершается с помощью специальных программ-парсеров, нацеленных на анализ содержимого рекламных блоков. Это могут быть простые самописные скрипты, а могут быть и сложные программные комплексы с элементами компьютерного зрения, с интеграцией сторонних API и веб-сервисов. В первую очередь сложность систем зависит от алгоритмов защиты целевых сайтов. Чем защита лучше, тем сложнее и качественнее должны быть средства её обхода.
Многопоточная работа любых парсеров невозможна без использования прокси. Лучшие прокси для проверки рекламы – это мобильные или резидентные прокси с оперативной ротацией и точным геотаргетингом.
Как раз такие прокси можно арендовать у нас. Froxy – это свыше 8 млн. IP с подбором до города и оператора связи. Количество потоков может быть любым. Оплачивается только потребляемый трафик. Для предметного тестирования предоставляется специальный триал-пакет.
