Часто приходится сталкиваться по работе с сервисами, которые предоставляют такие услуги - как резидентные прокси. Но никогда не погружался глубоко в эту тему. Всегда просто потреблял продукт, как любят говорить некоторые ленивые авторы, “как есть”.
Я понимаю примерно, как работает этот вид услуги, на уровне обывателя, и мне стало интересно разобраться в теме глубже, и попытаться поделиться выводами, к которым я пришел в процессе более глубокого понимания, что такое резидентные прокси. Смотрим, что из этого получится. Никаких рекомендаций, просто оценочное субъективное суждение очередного “специалиста”.
Прокси-сервера – это посредники между вашим устройством и интернетом, позволяющие скрыть реальный IP-адрес и изменить видимость вашего подключения. Этакий белый маскировочный халат в снежную погоду, если говорить совсем примитивным языком. Давайте от этого и оттолкнемся - варианты маскировки, но с маскхалатами сравнивать будет совсем скучно, давайте вспомним животных и насекомых. которые применяют маскировку и попробуем провести параллель. Вернее я уже ее провел.
Введение в маскировку - что такое резидентные прокси и почему это Геккон в мире прокси, а не хамелеон?
Существует два основных вида прокси - серверные (кто-то их еще называет дата центр прокси) и резидентные прокси. Есть еще один важный подвид - мобильные прокси, но я бы выделил у резидентных отдельную линию и определил бы мобильные именно туда, но не будем вдаваться в подробности, если хочется понять разницу между этими видами прокси - рекомендую эту статью - Резидентные, мобильные или серверные прокси? Взгляд дилетанта.
Если провести градацию между лидерами маскировки, я бы на первое место поставил Мадагаскарского плоскохвостого геккона, а после него бы разместил обычного йеменского хамелеона, так и с прокси - резидентные прокси - это геккон, а серверные йеменский хамелеон.
Ну и мобильные прокси, их бы я назвал орхидейным богомолом
Как я уже упомянул выше - углубляться в сравнения я не буду, эта статья посвящена резидентным прокси. Главное, что нужно понимать - резидентные прокси используют ip адреса реальных людей, а датацентр прокси имеют свой пул адресов, которые расположены под одной “крышей”. И как видно из картинки - резидентные работают лучше, с точки зрения маскировки, чем серверные.
Откуда берутся ip адреса для резидентных прокси
Очевидно, чтобы пользователь, который хочет использовать резидентные прокси смог это сделать, эти резидентные прокси должны иметь предложение (пул ip адресов, которые провайдер может предложить клиенту, расположенных под капотом с названием - резидентные прокси). А где его брать?
Что же это за Робин Гуд, который забирает ip адреса у обычных людей и отдает их необычным? Давайте разберемся.
Существует несколько моделей, как ip адрес обычного юзера может попасть в пул ip адресов:
Добровольное подключение пользователей к резидентным прокси сетям:
Некоторые прокси провайдеры широко используют, так называемые партнерские программы, когда пользователь может зарабатывать на своем трафике, он подключается к программе, соглашается с предложенными условиями и начинает делиться своим Ip адресом для нужд провайдера, а провайдер платит ему некое вознаграждение.
В этой схеме все максимально прозрачно, но есть нюанс - пользователи из стран с высоким уровнем жизни меньше принимают участие в подобных программах.
Партнерские соглашения с интернет-провайдерами для пополнения пула резидентных прокси:
Некоторые провайдеры, предоставляющие резидентные прокси клиентам практикуют заключение договоров с локальными или региональными интернет-провайдерами для получения доступа к уже существующему пулу домашних IP адресов. А провайдеры, в свою очередь, в договоре со своими пользователями прописывают (а может и нет) условие, что их ip адреса могут быть использованы третьими лицами. Естественно, в такой ситуации большая часть ответственности лежит на провайдере, но уже есть в этой схеме некая недосказанность, правда? Вы возможно даже сейчас, читая эту статью делитесь своим ip адресом с сервисом резидентных прокси через своего интернет провайдера, а автор этой статьи использует ваш ip адрес для… Да мало ли для чего его могут использовать…
Агрегация и аренда IP-адресов для резидентных прокси:
Этот способ плавно вытекает из предыдущего,. Есть компании, которые при заключении договора с интернет-провайдером используют полученные адреса самостоятельно, а есть те, кто эти адреса собирают в и перепродают третьим сервисам (которые по каким то причинам не могут напрямую их получить).
Использование существующей инфраструктуры:
Применение уже установленных домашних устройств, маршрутизаторов или IoT-устройств для формирования сети резидентных прокси. Другими словами, прокси провайдер в качестве поставщика использует не интернет провайдера, а поставщика физического оборудования, и все договорные отношения ведет непосредственно с ними. Сразу оговорюсь - реальных подтверждений данной модели я не нашел, но не вижу причин, по которым она не может существовать.
Использование приложений для получения ip адресов реальных пользователей
На мой взгляд эта модель самая широко применяемая, в этой нише, так как возможностей для ее масштабирования намного больше, чем расширение клиентской базы интернет провайдера. У провайдера есть определенный регион, и он ограничен им, ограничен инфраструктурой, а вот приложения могут распространяться независимо от региона, им не нужна никакая сопутствующая инфраструктура, чтобы условный Джон Малкович в Нью Йорке или Петер Чех в Чехии мог подключится к нему.
Что это за приложения такие? Конкретных имен я называть не буду, так как нет желания перечислять, но скажу так - некоторые условно-бесплатные сервисы или приложения не просто так дают доступ к своим услугам “бесплатно” - некоторые из них в соглашении прописывают возможность использовать ваши ip адреса для передачи их третьим лицам..
Децентрализованные VPN сервисы - как альтернатива резидентных прокси
Можно выделить в отдельную систему подобные сервисы - так как они используют реальные ip адреса в своей экосистеме и не перепродают их третьим лицам (а может и перепродают). Но рассказать о таких сервисах в рамках статьи считаю нужным. Суть децентрализованных VPN сервисов в том, что они объединяют в одну сеть реальных пользователей и каждый из участников может использовать ip адрес другого участника. Идея интересна, но могут возникать вопросы к безопасности отдельных участников цепочки.
Принцип работы резидентных прокси
То, что резидентные прокси используют IP-адреса, которые принадлежат реальным домохозяйствам, мы уже разобрали, теперь давайте разберемся, как это работает под капотом.
Представьте, что вы хотите отправить письмо, но не хотите, чтобы получатель знал ваш реальный адрес. Вместо того чтобы отправлять письмо напрямую, вы отдаёте его доверенному курьеру. Этот курьер доставляет письмо получателю, но на обратной стороне конверта указывается свой домашний адрес, а не ваш. Получатель видит письмо, которое пришло от курьера, а не от вас.
С технической точки зрения использование прокси работает по похожему принципу. Когда вы делаете запрос через прокси-сервер:
Первый шаг: Ваш компьютер отправляет запрос к прокси-серверу, как вы отдаёте письмо курьеру.
Второй шаг: Прокси-сервер получает ваш запрос, подменяет ваш IP-адрес своим, и затем отправляет запрос к целевому серверу. Это похоже на то, как курьер пересылает письмо, используя свой адрес.
Третий шаг: Целевой сервер отправляет ответ обратно к прокси-серверу, а не напрямую к вам.
Четвёртый шаг: Прокси-сервер передаёт ответ вашему компьютеру, сохраняя «маскировку» вашего реального IP.
Таким образом, благодаря прокси-серверу, конечный сервер видит запрос как исходящий от него, а не от вашего устройства, что обеспечивает дополнительный уровень анонимности и может помочь обходить географические или сетевые ограничения.
И вишенка на торте, курьер (резидентные прокси) - это реальный человек, а не Почтовая служба (датацентр прокси). Ччо повышает безопасность.
Возможные недостатки и ограничения
Как и любой инструмент, резидентные прокси имеют свои нюансы:
Стоимость: Высокая цена по сравнению с серверными решениями.
Скорость: В некоторых случаях скорость может быть ниже из-за маршрутизации через домашние сети.
Ограниченное количество: Не всегда возможно получить нужное количество IP-адресов для масштабных задач.
Тем не менее, после того, как я попробовал резидентные прокси по сравнению с серверными, я стараюсь использовать именно этот вариант, так как они реально работают как надо. Если мне требуется оценить поисковую выдачу в конкретном регионе, то я всегда использую именно их, так как именно эти прокси дают уверенность в том, что браузер не спалит мой реальный ipшник. Правда Цена - это реально может стать проблемой, они и правда дороже, и на порядок. Но качество того стоит.
