Прокси — это не какая-то одна конкретная услуга или инструмент. Так какие же бывают типы и почему это не единая технология на все случаи жизни? Вариантов много, и различаются они по задачам, маршрутам трафика и архитектуре самого сервера.
Если говорить совсем просто, любой прокси — это сетевой посредник между вами и конечным ресурсом. Не существует универсального прокси, который идеально подошел бы для любой ситуации или бизнеса. Но нам и не нужно подгонять всё под одну гребенку — сегодня можно выбрать именно тот тип прокси, который нужен именно вам.
На сетевом уровне прокси действует как промежуточное звено между устройством пользователя и внешними ресурсами.
Вот самый простой пример работы прокси со стороны пользователя:
В этот путь данных можно добавить еще шифрование и расшифровку, если такой функционал поддерживается.
Мы можем классифицировать типы прокси по нескольким признакам – месту расположения в сети, направлению трафика, уровню анонимности, поддерживаемому протоколу, типу IP-адреса и другим критериям.
Что такое другие критерии? Это уже те нюансы, которые имеют значение в довольно узкий кейсах использования. Условно, вы выбрали тип прокси, но нужно еще определиться с шифрованием и объемом трафика, если вы покупаете прокси у провайдера.
Но сейчас не об этом! Если вы понимаете простое разделение типов прокси — вы понимаете, что подходит вам в определенных процессах.
Тут все довольно примитивно: типы прокси отличаются по тому, какой сетевой протокол или уровень трафика они обрабатывают.
HTTP-прокси работает на уровне веб-протокола HTTP. Чаще всего они используются для обслуживания веб-трафика – например, для кеширования страниц или контроля доступа в корпоративной сети.
Пара моментов: HTTP-прокси предназначены только для нешифрованного веб-трафика (порт 80) и не могут напрямую обрабатывать TLS-шифрование. Поэтому они эффективны в простых сценариях и могут модифицировать HTTP-заголовки (например, добавлять заголовки X-Forwarded-For).
HTTPS-прокси — это, по сути, расширение HTTP-прокси, поддерживающее зашифрованные соединения HTTPS.
Он может устанавливать TLS-сессии, то есть передавать зашифрованный трафик или даже расшифровывать и инспектировать его при наличии необходимых сертификатов.
HTTPS-прокси нужны для работы с чувствительными данными, где безопасность их передачи ставится в приоритет.
Это прокси, работающие по протоколу SOCKS (версии SOCKS5 – самая распространенная).
SOCKS – протокол низкого уровня, который просто пересылает произвольный трафик между клиентом и сервером. Благодаря этому SOCKS5-прокси способен работать с любыми типами подключений – веб-сайты, почтовые серверы, пиринговые сети, игровые приложения и т.д. Он поддерживает как TCP, так и UDP трафик.
SOCKS-прокси не вносит изменений в данные и не добавляет заголовков, поэтому более универсален. Но при простом веб-серфинге может быть чуть медленнее и не предоставляет встроенного кеширования или фильтрации контента. Зато его можно использовать для обхода практически любых блокировок, если приложение умеет работать через SOCKS.
Если интересно узнать больше про протоколы, то вот сравнение SOCKS и HTTP прокси по функционалу.
FTP прокси используется для передачи файлов по FTP. Прокси принимает запрос, авторизует пользователя (включая анонимный доступ), и обеспечивает обмен файлами через управляющий (21) и порты данных (20).
C FTP прокси трафик не шифруется, поэтому если его и применяют, то только с дополнительными мерами защиты.
Плюс можем упомянуть SMTP-прокси для отправки и получения электронной почты, фильтрации спама и вирусных писем. Работают они как промежуточный почтовый сервер через SMTP-порты 25, 587 или 465. SMTP-прокси принимает почту, проверяет ее и пересылает на конечный SMTP-сервер.
DNS-прокси перенаправляет DNS-запросы от устройств к нужным серверам, кэширует результаты для ускорения доступа и фильтрует трафик.
Такой тип прокси полезен для получения доступа к контенту из других регионов, который оказывается заблокированным из-за вашего актуального IP-адреса.
CGI-прокси работают как промежуточный сервер, предоставляющий доступ к сетевым ресурсам через веб-интерфейс. То есть вам не нужно залазить в настройки браузера или системы и настраивать порты.
Хотя это не самый безопасный и приватный сервис, его часто используют как легкая альтернатива классическим прокси для веб-серфинга. Вам нужно только зайти на нужный сервис, вставить туда URL ресурса, к которому хотите получить доступ. А скрипт дальше подгрузит контент, который вам нужен, используя IP-адрес прокси.
Прокси-серверы могут функционировать на разных уровнях сетевой модели.
Например, прокси уровня транспорта (OSI L4) просто пересылают трафик, основываясь на IP-адресах и портах, не заглядывая в содержимое пакетов.
А есть прокси уровня приложений (OSI L7), которые способны анализировать и изменять содержимое запросов – например, проверять HTTP-заголовки, URL и даже шифровать или расшифровывать трафик.
Тут поднимается вопрос платности и бесплатности прокси и какова их реальная цена и ценность.
Такие прокси доступны бесплатно для всех желающих и не требуют авторизации. Чаще всего, такой тип прокси медленный, нестабильный и не очень безопасный.
Таким прокси пользуются одновременно множество людей и подобные IP частенько оказываются в черных списках. Не исключено, что с такими прокси будут вестись логи вашей активности и в какой-то момент может вылезти вредоносный код.
Это можно назвать промежуточным вариантом, так как общие прокси уже бывают платными, а на одном IP может сидеть ограниченное число пользователей.
Тут появляется чуть больше доверия, но только не вашим соседям, которые своим поведением могут испортить репутацию IP-адресов.
Плюс, сервер не резиновый и его ресурсы распределяются на группу пользователей, а не выделен персонально для ваших нужд.
Тут вы единоличный хозяин прокси. Вам предоставляется индивидуальный прокси-сервер, или IP-адрес, которым больше никто не пользуется.
Это дороже, чем общие прокси, но дает нужный уровень изоляции и контроля. Поэтому приватные прокси подойдут для чувствительных данных, например, для работы с платежными системами, с несколькими аккаунтами или там, где просто нужна стабильная сессия.
Хотя мы можем разделить типы прокси по уровню анонимности, на практике вы встретите разные их названия. От провайдера к провайдеру “анонимные прокси” могут означать что угодно.
Поэтому обращайте внимание на некоторые критичные параметры прокси, по которым можно определить их реальный уровень анонимности.
И учитывайте, что публичные прокси редко бывают анонимными (мы бы даже сказали, что никогда не бывают).
Прозрачные, или transparent, прокси не пытаются скрыть факта своего использования и не меняет IP.
В чем тогда смысл такого прокси? По крайней мере, для кэширования и фильтрации внутри локальных сетей. Например, корпоративный прокси, где не нужно скрывать себя.
Эти прокси скрывают ваш реальный IP-адрес. Но есть нюанс.
Внешний ресурс не увидит ваш реальный IP, но сможет определить использование прокси по косвенным признакам. Например, по заголовку X-Forwarded-For.
Тем не менее, тут уже есть базовая анонимность. Но если вы изучаете или парсите сайт, который ограничивает прокси-трафик, то вас могут заметить и ограничить доступ.
Возможно, “элитные” громко сказано, но такой тип прокси и обеспечивает конфиденциальность, и скрывают факт применения прокси.
Элитный прокси-сервер не раскрывает лишних данных через заголовки и в целом работает так, чтобы ваша сессия на внешнем ресурсе выглядела так же, как и обычный прямой заход.
Такие прокси могут быть выделенными (приватными) или с ограниченным числом пользователей на один IP.
В следующей статье рассказали, как именно анонимные (и элитные) прокси скрывают ваши данные.
Частота смены вашего IP-адрес может быть вам на руку, а может и навредить. Опять же, все зависит от ваших задач.
Динамические прокси автоматически сменяют IP-адрес через заданные интервалы времени или на каждую новую сессию. Получается, у вас есть доступ к пулу IP, которые подставляются по очереди.
Чередование адресов затрудняют распознавание прокси-трафика или скрапинга и снижают риск попадания в бан. Например, Froxy предлагает ротацию IP от 60 до 3600 секунд. Как именно работает ротация IP?
Статические прокси обеспечивают вас постоянным IP-адресов, который в течение длительного времени не меняется. Например, ротация происходит раз в сутки или по запросу.
Плюс статических прокси — возможность поддерживать длительные сессии с одним идентификатором в сети. Это чем-то похоже на выделенный IP-адрес, который подойдет для изолированного ведения нескольких бизнес-аккаунтов.
Источник IP-адреса значительно влияет на доверие к нему со стороны сайтов и на вероятность блокировки. Именно такие типы прокси предлагает Froxy и другие похожие прокси-провайдеры, помимо прокси по протоколам, ротации и степени анонимности.
Это можно назвать золотым стандартом мира прокси, так как резидентные прокси часто подходят под множество задач.
Здесь используются IP реальных пользователей. То есть, прокси-провайдер предоставляет вам выход в сеть, или промежуточную точку, через чей-то домашний Wi-Fi или через выделенный пул ISP.
Узнать больше про принцип работы резидентных прокси.
Для сайтов такой трафик выглядит как обычные пользователи, поэтому реже блокируются.
Важный момент — это способ сбора таких IP. Всегда обращайте внимание на то, этично ли собраны адреса, чтобы выбрать легального провайдера.
Покупая мобильные прокси, вы получаете доступ к IP-адресам, выделяемых мобильными операторами (3G, 4G, 5G).
Особенность мобильных IP в том, что они работают по технологию CGNAT, при которой один IP может динамически перераспределяться между множеством устройств. Например, в течение дня с одного и того же адреса в сеть могут выходить сотни пользователей, а завтра этот IP будет уже у других юзеров.
Именно благодаря этому, с мобильными прокси в комплекте идет высокий уровень доверия и минимальный риск бана. Сайтам и платформам просто не выгодно блокировать мобильные IP, так как они рискуют отрезать целые группы реальных пользователей.
Чаще всего такие прокси находят применение в социальных сетях, обходе CAPTCHA или тестировании мобильных приложений. Как максимально эффективно использовать мобильные прокси?
Если IP серверный, то трафик идет через дата-центры. Такие ареса часто принадлежат хостинг-провайдерам или самим центрам обработки данных.
Из плюсов высокая скорость работы благодаря мощной инфраструктуре и оптимизированным маршрутам связи.
Из минусов легкое распознавание антибот-системами, так как в ASN сразу видно, кому принадлежит IP-адрес.
Используйте дата-центровые прокси, если ваш фокус больше на скорости, чем на анонимности и избегании блокировок. Почему серверные прокси полезны в автоматизации?
Здесь краткое объяснение различий прямых и обратных прокси. Если хотите узнать больше, то вам подойдет эта статья: в чем разница между прямыми и обратными прокси.
Прямой прокси-сервер (forward) стоит между пользователем (клиентом) и внешним сайтом: принимает запрос от пользователя и пересылает его сервер нужного сайта.
То есть прямые прокси используются для интересов пользователя, скрывает его IP и дополняется другим функционалом вроде кеширования, фильтрации, сжатием трафика для экономии и тому подобное.
Сюда относятся все вышеперечисленные типы прокси.
Обратный (reverse) прокси-сервер находится между внутренним сервером компании и внешними пользователями (клиентами). Он принимает запросы от внешних клиентов и выдают нужные ресурсы от имени внутренних серверов компании.
Цель такого типа прокси — проверка и перенаправления трафика внутри кластера сервером, распределение нагрузки, кэширование, аутентификация, шифрование и дешифрование.
То есть с помощью обратных прокси вы можете спрятать внутренние серверы и защитить их от прямого доступа извне, так как любые пользователи вообще не контактируют с ними напрямую.
Реверсивные прокси часто комбинируют с фаерволом и DDoS-защитой, тем самым повышая безопасность. Так вы и ускоряете выдачу контента (если это, например, CDN-сеть), и фильтруете потенциально опасные запросы.
Иногда использование разных типов прокси диктуется проектом или инфраструктурой, иногда — личными потребностями. Мы не будем сейчас вникать в вообще все сценарии применения прокси, но перечислим базовую базу, когда прокси — must-have.
Самый популярный повод воспользоваться прокси – скрыть свой реальный IP-адрес и тем самым повысить приватность онлайн. Маркетологи, исследователи могут работать через прокси, чтобы затруднить слежку за своими действиями. Да и обычные пользователи ценят, что прокси ограничивает возможность сайтов отследить геолокацию или привязать действия к личности.
Кстати, при работе с ИИ тоже можно использовать прокси.
Если нужный ресурс недоступен из вашего региона или заблокирован вашим провайдером или администратором, разные типы прокси зачастую помогают. Обращаясь к сайту с IP другой страны (например, через резидентные прокси в нужном регионе), вы обходите гео-фильтры. Аналогично, корпоративные прокси могут запрещать определенные сайты. Но подключившись через внешний прокси, вы обходите такие ограничения.
Это работает и в обратную сторону: прокси может дать внешним пользователям доступ к локальным ресурсам, если настроен соответствующим образом.
В другой статье уже рассказали в подробностях, как выбрать локацию прокси-сервера.
Кэширующие прокси хранят локальные копии популярных данных, уменьшая задержки и экономя внешний канал при повторных обращениях. Если у вас сайт с аудиторией в нескольких регионах, задумайтесь.
Обратные прокси распределяют поток запросов между серверами, что предотвращает перегрузку одного узла. В итоге пользователи получают более быстрый и устойчивый доступ к сервисам, а администраторам проще масштабировать инфраструктуру.
Прокси незаменимы, когда нужно централизованно управлять тем, куда ходят пользователи в сети. Школы, офисы, библиотеки – везде прокси-сервер может блокировать запрещенные сайты, показывать заглушки вместо нежелательного контента, логировать обращения для аудита.
Плюс можно использовать прокси сканирования трафика на вирусы, рекламы, трекеры (например, proxy-based ad blockers удаляют баннеры на уровне сети).
Многие инструменты по автоматическому обходу сайтов (парсеры, боты) работают с прокси. Работая через целый пул прокси (часто ротационных), такие системы могут собирать большие объемы информации с публичных ресурсов, минимизируя риск блокировки за множественные запросы.
Без прокси у бота был бы один IP, который сайты быстро забанили бы за подозрительную активность.
Если хотите узнать про то, как собирать данные без блокировок, то вам сюда: полный гайд по скрапингу без банов.
Специалисты по кибербезопасности применяют прокси как в обороне, так и в атаке. Прокси на периметре компании служат дополнительным фаерволом – проверяют входящие запросы на угрозы, отсеивают известные вредоносные адреса, блокируют подозрительные последовательности (WAF).
Как использовать прокси для тестирования сайта?
С другой стороны, при проведении тестов на проникновение (pentest) часто пускают трафик через цепочку прокси, чтобы замаскировать свои реальные координаты. В легитимных целях можно использовать прокси, чтобы проверить, как ваш собственный сайт виден извне (через прокси в другом регионе) или имитировать действия пользователя из другой сети.
Использование разных типов прокси имеет смысл, когда оно обосновано конкретной задачей – повысить конфиденциальность, обойти конкретное ограничение, оптимизировать трафик, и т.д. Если же вы просто серфите в обычных условиях без каких-либо проблем, прокси вам может и не понадобиться.
В качестве дополнительных вариантов можно назвать VPN и Tor-сети. Мы подробно рассказали о них в статье-сравнении альтернатив прокси.
При выборе "того самого" среди разных типов прокси исходите из своей задачи и рисков. Нет единого лучшего решения, зато есть подходящее под конкретную цель.
Нужно собрать большой объем данных быстро – ставка на пачку дата-центровых IP. Требуется оставаться под видом обычного пользователя – берём резидентный или мобильный прокси-сервер. Ограниченный бюджет – возможно, поделим прокси с кем-то (но осознаем риск). Высокая ставка на безопасность – индивидуальный прокси и надежный протокол.
200+ локаций по всему миру и пул из 10+ миллионов этически собранных IP.