Рынок рекламы непрерывно растёт, при этом темпы роста онлайн-рекламы значительно превышают темпы роста всех остальных видов рекламы (на ТВ, на радио, фасадная реклама и т.п.). И эта тенденция имеет глобальный характер. На всякий случай ссылка на исследование от Markets and Markets (от 2023 года).
Естественно, заказывая подрядчикам показы своих объявлений на различных сайтах и в сетях контекстных объявлений хочется каких-то внятных гарантий: чтобы был обеспечен должный охват, чтобы материалы действительно показывались (а не просто накручивались счётчики в статистике), чтобы был настроен адекватный таргетинг.
Но тут возникает проблема – как проконтролировать подрядчиков? В этом материале поговорим о вариантах проверки онлайн-рекламы и о том, как это может быть связано с арендой прокси.
Проверка рекламы – это процесс качественного и количественного контроля показа рекламных объявлений на предмет соответствия условий их показа партнёрским соглашениям. Например, может проверяться регион показа, попадание в целевую аудиторию, время показа и другие параметры таргетинга.
Контроль подрядчиков, отвечающих за показ ваших рекламных объявлений, позволяет решить ряд связанных проблем:
В отдельных случаях может потребоваться мониторинг конкурентов – для анализа их рекламной политики и маркетинговых стратегий.
Чтобы реализовать обозначенные задачи, нужна качественная техническая составляющая – то есть всё то, что позволит эмулировать поведение пользователя, виртуализировать параметры его цифрового отпечатка (для проверки условий таргетинга) и местоположения, делать скрины и собирать доказательную базу.
Фактически скрипт проверки рекламы мало чем отличается от парсеров. Только он нацелен не на основной контент, а на блоки рекламных объявлений. Такой профильный парсер может работать на разных целевых сайтах или на каком-то одном конкретном. В первом случае под каждый целевой ресурс нужно создать свой обработчик структуры страниц.
Как и в случае с обычными парсерами, скрипты для проверки рекламы могут столкнуться с попытками блокировки:
Подробные проблемы с блокировкой парсеров мы описывали в материале «Парсим как профи! Лучшие практики для веб-скрапинга без блокировок».
Зачем вообще проверять показ рекламы? Подрядчики или конечные сайты, которые оказывают услуги ротации баннеров на своих страницах, могут:
Плюс, сервисы-посредники могут не контролировать со своей стороны условия таргетинга: местоположение клиентов, их интересы, цифровые отпечатки и т.п.
Всё это в итоге приводит к тому, что ваш рекламный бюджет улетает в трубу и не приносит ожидаемого выхлопа: в виде повышения узнаваемости, роста продаж или продвижения новых товаров/услуг.
Обратите внимание, для максимально качественного контроля рекламы могут потребоваться не просто скрипты парсинга HTML, но и целые комплексные решения, имеющие элементы компьютерного зрения (для распознавания скриншотов), средства для работы с большим числом пользовательских профилей (антидетект-браузеры), API для эмуляции поведения пользователей (headless-браузеры) и внешние сервисы для разгадывания капчи (тоже с компьютерным зрением или с привлечением ручного труда).
Теперь расскажем о том, как связаны между собой процесс проверки показа рекламы и большие базы прокси.
Как и говорилось выше, целевые сайты (интернет-ресурсы, на которых показываются ваши объявления или объявления конкурентов), могут защищаться доступными им способами – они обнаруживают паразитный трафик и блокируют все автоматические запросы.
Естественно, многие проверки безопасности завязаны на анализ структуры HTTP-заголовков/запросов от браузера, а также на анализ IP-адреса.
По IP-адресу можно узнать примерное местоположение пользователя, оператора его связи, владельца пула, а также тип подключения (мобильная сеть, домашняя или корпоративная).
И если профиль пользователя не соответствует параметрам IP, то это первая причина для блокировки, или как минимум – повод для запроса повторной авторизации/проверки пользователя на «человечность» (капча, решение логических задач, подтверждение авторизации дополнительными факторами и прочее). Например, когда клиент мобильного приложения пытается подключиться с серверного IP, то у сайта могут возникнуть обоснованные подозрения по поводу безопасности его сессии.
Даже если у вас на руках будут качественные пользовательские профили (цифровые отпечатки), то они обязательно должны работать в паре с не менее качественными IP-адресами.
А где взять IP, подходящий под ваши параметры? В сети прокси-серверов.
Про соответствие IP-адреса и пользовательского профиля мы уже упоминали выше. Рекламные сети умеют определять много разных параметров по IP, включая местоположение, тип подключения и пр. А это значит, что прокси для проверки рекламы не должны быть просто «прокси». Они должны максимально соответствовать реальным клиентам из конкретного региона или даже из определённого города.
Чтобы приобрести прокси, соответствующие вашим критериям, нужно знать об их типах и о связанных с ними особенностях.
Прокси бывают разными: прямые и с обратной связью (back-connect прокси), прозрачные и анонимные, публичные (общедоступные) и частные (приватные, выдаваемые в одни руки), статические и динамические. Но наиболее принципиальное деление прокси для проверки рекламы – по принадлежности к типу устройства.
В частности, здесь выделяют: мобильные прокси, резидентные и серверные (корпоративные) прокси.
Отдельно стоит упомянуть об удобстве подбора адресов и о способе подключения прокси к профильному софту. Классические прямые прокси обычно подключаются списками, последние выгружаются в определённом формате: IP:порт@логин:пароль и т.п.
Back-connect прокси можно подключать всего одной строкой или с помощью нескольких портов. Технически это те же прокси, в том же самом формате (IP:порт@логин:пароль и т.п.), но входящие сюда запросы маршрутизируются внутри сети и могут выходить совершенно с других IP. Соответственно, ротация неработоспособных прокси может производиться автоматически, как и подбор прокси по вашим критериям: тип адреса, местоположение, время удержания и прочее. Параметры подключения при этом будут оставаться прежними, так как точка входа в прокси-сеть не меняется.
Естественно, прокси с обратной связью получаются удобнее и практичнее, можно сэкономить массу времени на подключении и автоматической ротации.
Только прокси-сервисы с большим охватом и точным таргетингом помогут вам эмулировать местоположение так, чтобы системы защиты и системы ротации рекламных объявлений воспринимали посетителя как реального клиента.
Ни одно другое техническое решение так не сможет. Например, VPN-сети всегда имеют слабый выбор адресов и не обеспечивают условий их подбора в конкретных локациях.
С другой стороны, одних только прокси недостаточно. Чтобы процесс проверки рекламных объявлений был максимально качественным, нужно предусмотреть и другие технические моменты:
Обязательно посчитайте примерный трафик и все сопутствующие расходы. На основе этих данных можно получить адекватные цифры для будущего бюджета и рассчитать рентабельность процесса проверки рекламы. В отдельных случаях может быть дешевле контролировать рекламу вручную или вообще её не контролировать (так тоже бывает).
Если у вас большие расходы на интернет-рекламу и на вас трудится большое число подрядчиков или партнёров, логично автоматизировать процесс проверки рекламных кампаний. Это поможет оптимизировать расходы и избежать спекуляций со стороны исполнителей.
Автоматическая проверка рекламных объявлений фактически совершается с помощью специальных программ-парсеров, нацеленных на анализ содержимого рекламных блоков. Это могут быть простые самописные скрипты, а могут быть и сложные программные комплексы с элементами компьютерного зрения, с интеграцией сторонних API и веб-сервисов. В первую очередь сложность систем зависит от алгоритмов защиты целевых сайтов. Чем защита лучше, тем сложнее и качественнее должны быть средства её обхода.
Многопоточная работа любых парсеров невозможна без использования прокси. Лучшие прокси для проверки рекламы – это мобильные или резидентные прокси с оперативной ротацией и точным геотаргетингом.
Как раз такие прокси можно арендовать у нас. Froxy – это свыше 8 млн. IP с подбором до города и оператора связи. Количество потоков может быть любым. Оплачивается только потребляемый трафик. Для предметного тестирования предоставляется специальный триал-пакет.