Craigslist (Крейгслист) – это популярный в США сайт с доской объявлений. Он работает с 1995 года и назван в честь своего основателя – Крейга Ньюмарка. Дословно Craig’s list переводится как «список…» или «каталог Крейга». Тут можно найти объявления по разным тематикам (работа, жильё, вещи, услуги и т.п.) и пообщаться с единомышленниками.
В настоящее время площадка пользуется спросом более чем в 70 странах, интерфейс каталога переведён на 15 языков, включая русский. Обеспечено присутствие почти во всех частях света: Америка, Азия, Океания, Африка, Ближний Восток и Европа. Посещаемость ресурса по данным Similarweb превышает 210 млн уникальных визитов в месяц. Сайт входит в сотню крупнейших в мире и в двадцатку крупнейших площадок в США. Это прямой конкурент таких сервисов, как eBay, OLX и Amazon.
Поэтому неудивительно, что при таком охвате Craigslist имеет свою систему защиты от ботов и спама.
Ниже разберём, почему и в каких случаях ресурс блокирует IP-адреса своих пользователей, а также расскажем, что нужно делать, если ваш IP или учётная запись попали в бан.
Причины, почему Craigslist может блокировать ваш IP
Огромная аудитория – это большая ответственность. Площадка Craigslist – это идеальное место для рекламы и продвижения своих товаров или услуг. Плюс, отсюда можно взять информацию для анализа рынка, контактные данные потенциальных клиентов, спарсить объявления для наполнения своего локального каталога и т.п. Задач и целей у пользователей может быть много. Но часть из них никак не соотносится с правилами ресурса. Поэтому Craigslist борется с паразитной нагрузкой и активно блокирует IP клиентов, которые, по его мнению, нарушают политику честного взаимодействия с площадкой.
- Локальные и региональные блокировки
Каким бы крупным Craigslist ни был, это просто сайт. Поэтому его могут блокировать в соответствии с местными политиками и правилами. Например, это могут быть блокировки на уровне всей страны или отдельного региона, либо просто локальные политики безопасности, запрещающие пользователям обращаться к определённым сайтам в сети. Такие локальные политики могут использоваться внутри компаний (в их корпоративных сетях), в образовательных учреждениях (школы, ВУЗы, сети кампусов и т.п.), а также в различных государственных учреждениях (органы госуправления, муниципальные службы, представительства судебной и исполнительной власти, и пр.).
- Частные и публичные сети
Иногда так случается, что вы пользуетесь интернетом не со своего IP-адреса, а с общего. Например, так может получиться, когда вы подключаетесь к сайтам (в том числе Craigslist) через Wi-Fi в кафе, из приёмной какой-нибудь компании и т.п.
А может, ваш интернет-провайдер выдаёт один и тот же IP-адрес сразу нескольким пользователям (это так называемые ротируемые серые IP), к вашей Wi-Fi-точке подключается сосед, потому что вы забыли поставить пароль на сеть и т.п. Примеров общественных сетей масса.
Стоит хотя бы одному из участников нарушить правила ресурса Craigslist, и все остальные, в том числе и невиновные лица, уже не смогут подключиться к сайту Craigslist напрямую.
- Нарушение правил сервиса
Сюда можно отнести все общие положения, касающиеся правил поведения на сайте. Например, агрессивное общение, попытка размещения объявлений с запрещённым контентом (с товарами и услугами, которые нельзя распространять через сайты), спам, SEO-ссылки и т.п.
Это всё то, что может нарушать требования законов и прав других людей.
Такие блокировки чаще всего касаются именно аккаунтов, а не IP-адресов.
- Использование средств автоматизации
Сюда будет относиться всё то, что создаёт паразитную нагрузку на ресурс. Например, попытка парсинга страниц (подробнее о том, что такое парсинг, а также чем отличается web-сканирование от скейпинга), слишком частое обращение к страницам сайта (накрутка просмотров для попадания объявления в топ), попытка размещения большого количества объявлений за небольшой период времени (разрешенная периодичность – 1 объявление в 1 категории и в 1 городе за 48 часов, общее количество сообщений – не более 10 в день), а также размещение одних и тех же объявлений в разных городах и странах, и т.п.
Во многом такие действия оговариваются в правилах использования Craigslist. Но здесь речь идёт об автоматических, а не о ручных блокировках, поэтому пункт вынесли отдельно.
Как итог, специальные алгоритмы защиты блокируют уже не учётную запись, а IP-адрес, с которого производились нежелательные действия.
Частным подвидом автоматизации можно назвать работу вирусов. Когда заражённый компьютер используется как отправная точка для рассылки спама, парсинга или автоматической публикации объявлений на Craigslist.
Обратите внимание! Бизнес-пользователи могут идти на нарушение правил ресурса осознанно, так как имеющиеся технические ограничения не позволяют обслуживать продажи с требуемой эффективностью. Это оправданный риск. Поэтому им приходится действовать так, чтобы обходить системы защиты Craigslist, использовать:
- списки прокси-серверов,
- программы парсинга,
- средства автопостинга
- и т.п.
Craigslist использует модель заранее оценённых убытков. Это когда сервис заранее прописывает в соглашении суммы взысканий (оплат) с пользователей за определённые действия (нарушения). Речь идёт о суммах от 1 до 3000 $. Например, отправка нежелательных сообщений обойдётся по 25$ за каждое, посещение более 1000 страниц в сутки – по 0,25 $/каждая и т.п.
Что делать, если заблокирована только ваша учетная запись Craigslist
Система безопасности Craigslist сначала выносит предупреждения пользователям в виде красных флажков. Если флажков становится слишком много, то учётная запись блокируется.
С одной стороны, можно попытаться обратиться в техподдержку сервиса, написав в чат, на email или позвонив по телефону. Специалисты рассмотрят ситуацию в индивидуальном порядке.
Но практика такова, что в 99% случаев техподдержка считает блокировку обоснованной, поэтому проще и быстрее будет зарегистрировать новый аккаунт и заново опубликовать объявление, учтя допущенные ранее ошибки.
Сложнее обойти блокировку по IP.
Как разблокировать Craigslist
Помимо прямых блокировок по IP и в отношении аккаунтов, площадка Craigslist иногда использует нестандартный подход – так называемый скрытый или теневой аккаунт (Craigslist Ghosting). Это когда пользователь после авторизации может выполнять различные действия, но ни одно из его сообщений не будет видно остальным участникам сайта. Оригинальное решение для ограничения спамеров и ботов.
Несмотря на такие ухищрения, решение обозначенных проблем всегда одно – использование новой учётной записи, зарегистрированной с нового IP-адреса.
Получить новый IP-адрес можно разными способами. Мы подробно описали их в материалах:
Наиболее простой и доступный по деньгам метод – аренда прокси.
Итоговая схема подключения к Craigslist будет включать посредника (прокси-сервер), но благодаря этому она позволит решить массу проблем:
- С помощью прокси можно создать любое количество аккаунтов Craigslist. Например, для каждого города по одному.
- Можно обеспечить сбор информации со страниц и парсинг с высокой скоростью.
- Можно обойти ограничения на лимиты по количеству сообщений в день (благодаря публикации с разных аккаунтов и адресов).
- Можно снизить риски блокировки отдельных учётных записей (если их много, то потерю одной или двух можно считать незначительной).
Где взять прокси для Craigslist?
Сервис Froxy предлагает аренду ротируемых мобильных и резидентных прокси с оплатой за пакеты трафика.
Это лучшие прокси для многих бизнес-задач.
Вы получаете доступ к огромному пулу IP-адресов со всего света: более 8,5 млн IP, 200+ локаций, точность подбора (таргетинга) до уровня города, плюс, можно отфильтроваться по конкретному провайдеру связи.
Списки прокси выгружаются в разных форматах, поэтому легко подключаются к профессиональному софту для постинга, парсинга и других задач.
