В случае с почтовым адресом можно арендовать почтовый ящик, и тогда отправитель не будет знать реального адреса получателя, но почта всё равно будет стабильно доставляться и читаться.
С интернет-адресами всё работает немного иначе. IP можно менять гораздо чаще и без каких-либо последствий — скорее это даже пойдет на пользу.
Ниже приведём ситуации, в которых может пригодиться генерация новых IP-адресов, а также все способы получения случайных IP с их плюсами и минусами.
Для чего генерировать случайный IP-адрес
Когда генерируется новый IP, меняется старый интернет-адрес. Соответственно, основная задача такой операции – скрыть свой IP и запутать системы отслеживания. Ранее мы рассказывали о том, как и с помощью чего можно скрыть свой IP-адрес.
Тут стоит отметить, что запутывание следов – это не всегда о личной безопасности, хотя и о ней тоже. Чаще всего рандомные IP требуются для бизнес-задач.
Примеры того, для чего может потребоваться ротация (оперативная замена) IP:
- Количественные и качественные исследования в сети, обычно маркетинговые. Например, это может быть срез рынка или аналитика в определённой нише – общая или в конкретных регионах.
- Анализ сайтов или ассортимента (предложения) конкурентов. Что называется, «разведка боем». Вы можете пропарсить ресурсы и получить исчерпывающие данные. На всякий случай рассказываем, что такое парсинг.
- Проверка безопасности и качества своих сайтов. Задача будет особенно актуальной, если сайт делали на заказ и нужно проверить работу перед приёмкой (собрать данные об ошибках, проверить на практике предельную нагрузку и т.п.).
- Если при смене IP-адреса меняется ещё и регион (виртуальная локация), то с их помощью можно получить более выгодные цены на цифровой контент, на подписки или на брендовые товары. На разнице цен можно и неплохо заработать. Как и что, мы рассказывали в статье про сникер-ботов.
- Обход локальных и/или региональных блокировок, а также обход систем защиты конкретных сайтов (например, если вас забанили по IP).
Способы генерации случайных IP
Если с причинами более-менее всё понятно, то остаётся непосредственно предметный вопрос – как именно можно генерировать и менять IP: где их взять, как подбирать, какие могут быть подводные камни.
Наиболее логичными и доступными способами генерации IP можно назвать следующие:
- Смена IP за счёт пула адресов вашего интернет-провайдера (получение нового динамического IP при подключении).
- Покупка своего собственного пула IP-адресов (или более доступная аренда, например, у провайдеров хостинга).
- Использование прокси (платных или бесплатных).
Теперь о каждом способе поподробнее.
Смена через интернет-провайдер (за счёт динамических IP)
При каждом выходе в сеть Интернет пользователю автоматически присваивается IP-адрес. За распределение IP-адресов между своими абонентами отвечает провайдер связи, например, локальный интернет-провайдер (широкополосного доступа, FTTB, ISDN, GPON и т.п.) или провайдер мобильной связи (3G/4G/5G, GPRS, WAP).
Локальные операторы в свою очередь получают адреса от региональных регистраторов, а региональные – от международной организации IANA. Получается строгая иерархия, и все IP всегда на учёте. Они всегда за кем-то закреплены.
Вместе с тем, из-за острой нехватки пула IPv4-адресов в мире (это те, что имеют вид 192.162.0.1) локальным провайдерам связи тяжело найти свободные IP. Поэтому они вынуждены динамически перераспределять имеющийся у них пул адресов между абонентами. Это технология динамических IP.
Читайте подробнее о том, что такое динамические IP-адреса.
Как итог, каждая новая попытка подключения к сети провайдера может генерировать новый IP.
Как получить новый (случайный) IP от провайдера интернета
- Обязательное условие для генерации нового IP – поддержка технологии динамического выделения IP вашим провайдером интернета (сейчас почти все провайдеры используют эту технологию, но могут быть и исключения).
- Вам нужно разорвать текущее интернет-соединение (сессию).
- Выполнить подключение снова.
- Если IP-адрес не изменился, то процедуру необходимо повторить.
Обратите внимание, если у вас дома (в офисе) используется локальное подключение через роутер, то в этом случае нужно переподключить соединение на нём (проще просто перезагрузить роутер).
Плюсы генерации случайных IP за счёт провайдера интернета
- Это совершенно бесплатно, если не считать то, что вы всё равно платите за доступ к сети Интернет.
- Относительно простой способ реализации (включить и выключить).
- С новым IP-адресом уже можно обойти ряд наложенных санкций/ограничений (например, бан на сайте/форуме).
Минусы рандомных IP-адресов через провайдера
- Все адреса будут фактически принадлежать одному провайдеру. Соответственно, для них будут действовать все региональные и даже многие локальные блокировки.
- Вы никак не можете воздействовать на процесс замены IP. Процедурой управляет оборудование провайдера.
- Уровень анонимности максимально низкий, так как, каким бы ни был ваш новый IP-адрес, провайдер всё равно знает, с каким клиентом его нужно (можно) связать.
- При повторном подключении можно снова получить тот же самый IP-адрес, так как, например, провайдер, если ему позволяет имеющийся пул адресов, может закреплять IP за конкретным клиентом на максимально длительное время (на час, несколько часов, день и т.п.). Соответственно, генерация нового адреса может закончиться неудачей.
Покупка пула IP-адресов
Наиболее надёжный и законный способ. Ведь если ты не можешь управлять провайдером связи, то почему бы самому не стать таким провайдером?
Вместо покупки IP можно рассмотреть возможность аренды IP через хостинговые компании или через локальных операторов интернета.
Как купить (арендовать) свой пул IP-адресов
Рассмотрим отдельно способ покупки:
- Чтобы претендовать на возможность полноправного распоряжения пулом своих IP-адресов, нужно получить статус LIR (локального интернет-регистратора). Для этого нужно иметь зарегистрированное юридическое лицо (со всеми вытекающими последствиями и полагающимися расходами – на содержание и обслуживание расчётного счёта в банке, на выплату налогов, на выплату заработной платы, цифровые подписи и т.п.).
- Для получения пула нужно собрать пакет документов и оформить специальную заявку в адрес RIPE NCC (это RIR, то есть региональный регистратор, курирующий зону Европы, Ближнего Востока и Центральной Азии).
- Оплатить членские взносы. Для RIPE NCC речь идёт о разовом взносе около 1000 евро и порядка 1500 евро каждый год. Сейчас с международными переводами из РФ в пользу компании из Нидерландов могут быть серьёзные проблемы.
- После ожидания в специальном White-листе вы получите свой пул IP-адресов.
Плюсы такого подхода:
- Вы получаете IP-адреса только в своё пользование, что называется из первых рук.
- Использовать такие адреса можно для любых своих задач.
- На базе полученного пула IP можно организовать собственные услуги, например, сдавать их в аренду провайдерам связи или хостинг-провайдерам. А можно открыть свой хостинг или построить сеть.
Минусы покупки IP
- Покупкой эту процедуру можно назвать с натяжкой. Фактически вы получаете ту же аренду, так как, если вы не оплатите членские взносы, то и пул IP-адресов у вас отберут.
- Это слишком сложно и подразумевает массу сопутствующих расходов (на открытие юрлица и на его сопровождение).
- Очень дорого.
- Никакой анонимности – единственным лицом, владеющим пулом, будете только вы. Даже трудиться не нужно, чтобы найти ответственного за возможные нарушения локального законодательства. Все IP будут автоматически привязаны к вашему юридическому адресу. Поэтому, если вы хотите меньше проблем, то компанию нужно регистрировать в оффшорах, но тогда это уже совсем другой уровень расходов.
Вариант №2 – арендовать IP у других владельцев (у хостеров, провайдеров связи и прочих LIR):
- Достаточно зарегистрировать личный кабинет у каждой интересующей вас компании.
- И заказать услугу аренды IP-адреса.
- Адреса можно арендовать одновременно у разных LIR (локальных регистраторов).
Плюсы аренды IP:
- Можно взять в аренду столько IP-адресов, сколько вам нужно.
- Адреса могут быть собраны с разных концов света.
- В любой момент времени аренду можно остановить, чтобы не платить лишнего.
Минусы аренды IP:
- Уровень расходов получается по-прежнему слишком большой. Основная проблема в том, что LIR-операторы чаще всего предлагают IP-адреса только в связке с основными услугами, то есть вместе с арендой сервера, интернет-канала и т.п. (в зависимости от сферы деятельности компании).
- Вы обязательно идентифицируете себя при заключении договора с компанией и несёте полную ответственность за любые нарушения.
- У каждого оператора могут быть свои особенные требования к услуге аренды (типы запрещённого трафика, лимиты по объёму и т.п.).
- В случае блокировки IP отдельными сайтами, например, при парсинге, вам его никто не заменит. Соответственно, нужно будет заказывать новую услугу аренды и оплачивать её отдельно (дополнительно).
Использовать прокси
Прокси – это сервер, который пересылает ваши запросы от своего имени. Прокси бывают разных видов (прозрачные, анонимные, элитные, искажающие и т.п.) и могут работать на базе разных типов IP-адресов, зависящих от конечного оборудования, отправляющего запросы:
- Серверные прокси. Работают на базе IP-адресов, принадлежащих дата-центрам и хостинг-провайдерам. Отличаются максимальной пропускной способностью и почти никогда не имеют лимитов по передаваемому объёму. Вместе с тем, такие IP легко вычисляются системами защиты и очень быстро блокируются. С большой вероятностью в арендованном пуле таких прокси большинство IP будет в чёрных списках (в спам-базах) крупных интернет-ресурсов, таких как Facebook (прокси для Facebook), Instagram (прокси для Инстаграм), Amazon (прокси для Amazon) и т.п.
- Резидентные прокси. Работают на базе оборудования клиентов, обслуживающихся у локальных интернет-провайдеров. Это могут быть ПК, роутеры, SMART-телевизоры и другие устройства с выходом в сеть. Такие IP-адреса блокируются реже и в спам-базы на постоянной основе их не вносят, максимум на время. Плюс, обычно в пуле резидентных прокси огромное количество адресов, поэтому их легко можно менять хоть при каждом запросе (а не только каждую сессию), а сами адреса можно выбирать из конкретной локации, с высокой точностью. Из минусов – небольшой период жизни и высокая стоимость (обычно тарификация производится по потребляемому объёму трафика). Больше информации о резидентных прокси.
- Мобильные прокси. Фактически это тоже резидентные прокси, но только их IP-адреса принадлежат сетям операторов мобильной связи. Такие клиенты ещё реже блокируются из-за особенностей построения мобильных сетей. Поэтому мобильные прокси идеальны для осуществления парсинга и других массовых (многопоточных) задач. Если сеть прокси достаточно большая, то генерировать случайный IP-адрес можно не только для каждой из ваших сессий, но для каждого нового запроса. Из минусов: высокая стоимость (ещё выше, чем у резидентных прокси) и минимальное время жизни (из-за особенностей и нестабильности мобильных подключений). Больше информации о мобильных прокси.
Также прокси бывают простыми, каскадными и backconnect (с обратным подключением).
Существуют и бесплатные прокси, но мы рекомендуем держаться от них подальше, так как бесплатный сыр бывает только в мышеловке. Подробное сравнение платных и бесплатных прокси.
Если говорить о необходимости генерации нового IP под каждую новую сессию, то для такой задачи подойдут практически любые прокси. Единственный нюанс, они будут отличаться по параметрам подключения (анонимность, надёжность, время жизни, тип IP и т.п.). Оптимальными для бизнес-задач будут мобильные и резидентные прокси. Так как именно здесь можно получить достаточный пул адресов, точную геопозицию (таргетинг) и оперативную ротацию IP.
Как генерировать случайные IP с помощью прокси
Так как штатные средства операционных систем (это касается всех платформ, включая Windows, MacOS, Android, iOS и сборок на базе Linux) из коробки не поддерживают работу со списками прокси, то потребуется специальное программное обеспечение или скрипты. При достаточном опыте программирования можно воспользоваться информацией из сети с примерами создании своего скрипта на Python и на других языках (конечно, это не выход для обычных пользователей).
К таким программам можно отнести: Proxy Switcher (платное ПО, активно развивается и поддерживается), SocksCap64 (бесплатное ПО, но последнее обновление было еще в 2017 году), Proxy Helper (бесплатное ПО, тоже давно не развивается), Proxifier (бесплатная утилита, есть клиенты для Windows, macOS и Android, активно поддерживается).
Как будет выглядеть процесс рандомизации IP с помощью программ:
- Вы скачиваете и устанавливаете профильный софт для работы со списками прокси (специальной для вашей платформы/ОС).
- Регистрируете личный кабинет и покупаете прокси (серверные прокси часто можно купить поштучно, но мы рекомендуем пакеты трафика с мобильными или резидентными прокси).
- В личном кабинете или по API выгружаете список прокси (если есть возможность, нужно выбрать формат, совместимый с вашим программным обеспечением, если нет – нужно переформатировать список вручную для совместимости). Если это принципиально, нужно заранее отфильтровать список прокси по нужным вам параметрам: географическое положение, тип, оператор связи и т.п.
- Загружаете список прокси в программу.
- Настраиваете генерацию случайного IP для каждой новой сессии в программе (алгоритм настройки будет зависеть от выбранного софта, плюс, могут быть разные формулировки и алгоритмы рандомизации, например, автоматическая смена прокси при недоступности/отключении адреса и т.п.).
- Сохраняете настройки и проверяете работу скрипта (для этого можно воспользоваться сайтами или web-сервисами, способными показать ваш IP-адрес, например, Яндекс.Интернетометр).
По аналогии настраиваются профильные программы – парсеры, коллекторы, сникер-боты и т.п. Но нужно помнить, что в этом случае рандомный IP будет получать только соответствующая программа. Все остальные приложения и операционная система будут подключаться к нужным вам интернет-ресурсам без прокси.
К исключениям стоит отнести каскадные и backconnect-прокси. Они подключаются к софту с помощью всего одного IP-адреса, а настройка правил генерации и выдачи конечных IP производится в личном кабинете клиента, с помощью специальных утилит провайдера или вообще никак не настраивается (адреса просто выдаются случайно по своим внутренним правилам).
Плюсы генерации IP через прокси (общие для всех типов)
- Это максимально недорогой вариант получения большого пула IP-адресов. Обойдется в разы дешевле покупки или официальной аренды IP.
- При достаточной ёмкости сети прокси (например, в случае мобильных или резидентных) IP-адреса можно менять не только для каждой сессии, но и для каждого нового запроса к одному и тому же ресурсу.
- Прокси идеальны для всех бизнес-задач (для парсинга, сбора аналитических данных, нагрузочного тестирования и т.п.).
- Если позволяет софт, то правила рандомизации можно тонко настроить под себя.
- Прокси можно подключить на уровне операционной системы или конкретных утилит (профильных программ парсинга, браузеров и т.п.).
- Прокси подходят для обода локальных и региональных блокировок.
- У крупных прокси-провайдеров обычно в наличии API и другие системы автоматизации.
- IP-адреса можно получить с привязкой к выбранной локации (региону, городу) или даже к конкретному оператору связи.
Минусы случайных IP через прокси
- Требуется установка и настройка профильного софта. А он не всегда бесплатный. Интерфейс может быть не переведён на русский язык или не будет внятной документации.
- Способ платный. Существуют бесплатные прокси, но использовать их себе дороже.
- Если прокси-провайдер предлагает серверные прокси, то скорее всего вы можете столкнуться с блокировкой многих IP из списка (они уже будут значиться в спам-базах или во внутренних стоп-листах конкретных web-сервисов).
Заключение и рекомендации
Самый простой и логичный способ генерации случайных IP для каждой новой сессии и даже для каждого отдельного запроса – это прокси. У остальных способов слишком много недостатков и на статус готовых бизнес-решений они никак не подходят.
Идеальными прокси с практически неисчерпаемым пулом IP-адресов для рандомизации будут мобильные или резидентные прокси. Они во многом похожи, отличаются только типами конечного оборудования: стационарное и мобильное.
Froxy предлагает аренду мобильных и резидентных прокси с оплатой за пакеты трафика. Принимаются различные платёжные средства, включая российские банковские карты и криптовалюты, более 8 млн IP в пуле, ротация может производиться принудительно (по времени) и автоматически (при отключении прокси). Точность выбора местоположения IP – до выбранного города и провайдера связи. Выгрузка списков в разных форматах.