vaspvort
Ночной дозор
Команда форума
Модератор
ПРОВЕРЕННЫЙ ПРОДАВЕЦ
Private Club
Старожил
Migalki Club
Меценат💰️
Многие пользователи интернета (я имею ввиду стандартного юзера, не знакомого с этими вашими автоматизациями) уже неплохо разбирается в реалиях современного интернета, и знаком с такими определениями, как ВПН или прокси. Но прокси - достаточно разнородное понятие и их существует огромное количество видов.
В этой статье я решил намного ближе изучить мобильные прокси, зачем они нужны, как работают и почему это флагман среди всех видов прокси по моему мнению.
Для чего вообще нужны прокси? Уйдем от банальных вещей, которые сразу же приходят на ум - типа обход ограничений и доступ к контенту, заблокированному в вашей стране, и вот как используют мобильные прокси:
Как это выглядит с технической точки зрения - у провайдера мобильных прокси есть специальное оборудование, с сим-картами различных мобильных операторов, чем больше SIM-карт, тем больше вариабельность выбора, разнообразнее ГЕО этих мобильных прокси и устойчивость от блокировок.
Теперь что касается блокировок: в целом мобильные прокси намного устойчивее других видов прокси, так как есть такое понятие как Network Address Translation или по простому NAT. NAT - это технология, которая позволяет множеству устройств внутри одной локальной сети использовать один общий внешний IP-адрес для выхода в Интернет.
Представьте, что ваш дом — это локальная сеть, а все комнаты — это устройства (компьютеры, смартфоны и т.д.). У каждой комнаты есть свой внутренний номер (приватный IP), но у дома один общий почтовый адрес (публичный IP). Когда кто-то из комнаты отправляет письмо (запрос в Интернет), специальное устройство (маршрутизатор с NAT) заменяет внутренний адрес на внешний, чтобы письмо выглядело, как будто оно пришло от дома в целом. А когда приходит ответ, маршрутизатор понимает, какая комната (устройство) его ожидала, и перенаправляет его по внутреннему адресу.
Почему это важно? Потому что на одном ip адресе может “висеть” несколько тысяч абонентов сотовой связи и если один или несколько пользователей ведут себя подозрительно (напоминают ботов и т.п.) веб ресурс с большей степенью вероятности просто закроет на это глаза, так как бан “подозрительного” мобильного ip-адреса приведет к блокировке доступа к этому ресурсу потенциально нескольких тысяч обычных пользователей. Это все равно, что запретить всем владельцам кроссовок Nike определенного фасона заходить в супермаркет, так как охрана поймала вора в этих кроссовках ранее (грубоватое сравнение, но какое есть).
Резидентные прокси - наиболее близкие по безопасности и используемым ip-адресам, так как резидентные прокси используют ip адреса реальных людей, но это ip адреса, которые предоставляются обычным людям их интернет провайдерами. Технология там немного другая, но суть та же, ip-адрес реального человека безопаснее использовать, чем ip адрес, используемый в серверных прокси.
Но в резидентных проксях нет такой фишки как NAT и в случае подозрений, такие up адреса блокируются намного безжалостнее, чем мобильные.
Серверные прокси, даже рядом не стоят по безопасности с резидентными и уж тем более, с мобильными прокси. Серверные (их еще называют датацентр прокси) - используют пулы ip-адресов, которые принадлежат конкретных дата центрам (и эти пулы уже давно всем известны, ну или почти всем).
С безопасностью разобрались, а что со скоростью? По скорости, качественные мобильные прокси сопоставимы с резидентными, но не сравняться с серверными (хотя, можно поискать провайдера, который скажет, что его Кунг фу, лучше Кунг фу любого серверного прокси провайдера).
Нормальные провайдеры мобильных прокси предоставляют достаточно гибкую ротацию без доплат.
Считаю нужным еще раз упомянуть, что трафик, исходящий от таких прокси неотличим от трафика реального пользователя (передается тот же часовой пояс, местоположение, тип операционной системы, что повышает доверие серверов)
Зависимость от мобильных сетей - скорость не самый главный конек мобильных прокси и в пиковые часы, каких нибудь популярных регионов можно оценить это на себе (ради интереса, попробуйте выбрать ГЕО нашего Юга в летний сезон и протестируйте скорость передачи данных, если есть сомнения что скорость зависима от этого фактора). Обрывы, снижение скорости и т.п. будут всегда, это нужно принять.
Стоимость - цена на использование мобильных прокси не может быть маленькой, я надеюсь вы это понимаете? Провайдер сильно тратится на закупку оборудования, оплачивает мобильные тарифы и все это нужно окупать, так что да, цена слабая сторона мобильных прокси. Для сравнения - серверные прокси могут стоить до 2 долларов в месяц, тогда как цена на мобильные прокси может доходить до 40-50 долларов.
Разработчики: устанавливают цену в 50 долларов за мобильные прокси / Серверные прокси за 2 доллара: Я для тебя какая-то шутка?
Динамическая смена ip адреса - я поместил эту опцию и в достоинства и в недостатки, и вот почему - динамическая смена ip неминуема, то есть вы не сможете постоянно использовать один и тот же ip адрес долго, он обязательно изменится. И если вам важно постоянно быть на одном ipшнике, увы это не ваш вариант.
Испорченные ip - это не самая распространенная проблема для мобильных прокси, и тем не менее упомянуть ее стоит - если какой то ресурс пометил Ip адрес, как нежелательный, есть вероятность что могут возникнуть проблемы на конкретном ресурсе с конкретным Ip, но первое - это временно (после смены ip проблема будет купирована) и второе - провайдеры стараются чистить свои пулы.
Начнем с простого - провайдер мобильных прокси:
Рынок растет, по моему мнению он находится еще в стадии формирования и не поделен гигантами, как многие другие. Что нужно учесть при выборе провайдера:
Все что вам понадобится - мобильный телефон, который вы будете использовать в качестве точки доступа, с помощью специального сервиса, вы расшариваете ваш ip адрес, и можете использовать свой телефон как и обычные прокси. Но один нюас - это будет ip адрес где расположен телефон в настоящий момент, там не получится подключиться к сотовой сети какого нибудь французского оператора, да и платить все равно придется, меньше чем провайдеру, но придется.
Второй способ более затратный и требует приобретения дополнительного оборудования, к которому подключается мобильный интернет модем.
Вам понадобиться одноплатный компьютер, для этих целей используют Raspberry Pi, но такой, чтобы там был порт Ethernet, маршрутизатор (чтобы подключить ваш Raspberry Pi к компьютеру, мобильный USB модем и Ethernet кабель. В целом если у вас есть все вышесказанное, в сети есть много гайдов по поднятию мобильных прокси с использованием такого вот набора юного автоматизатора. У меня такого набора не оказалось, поэтому давать рекомендации по статьям в интернете без собственного опыта не буду.
Мониторьте качество IP: если замечаете, что свежий мобильный IP сразу ловит капчу, меняйте его (вручную через API или автоматически). Не тратьте время на «прогоревшие» адреса – у вас их тысячи, найдите чистый.
Храните сессии отдельно: при массовой работе (например, 50 аккаунтов) – разграничивайте профили браузера и прокси для каждого аккаунта. Не смешивайте куки и кэш между ними, иначе преимущество прокси сойдет на нет.
Комбинируйте с другими методами: помимо антидетект-браузеров, используйте прокси вместе с fingerprint-менеджерами, сменой User-Agent, эмулируйте параметры устройства. Мобильный IP – это мощно, но если все ваши запросы с одного IP вдруг идут с одинаковым уникальным браузерным отпечатком, вас могут вычислить.
Следите за расходом: мобильные прокси зачастую тарифицируются по времени, но некоторые – по трафику. При интенсивном парсинге убедитесь, что трафик безлимитный, или оптимизируйте запросы (сжимайте ответы, отключайте загрузку изображений и т.п.).
Я думаю, что со временем, рынок будет прирастать новыми игроками и появятся свои гиганты, которые будут отжимать долю трафика у небольших сервисов, но пока что это еще не так. Спрос на мобильные прокси растёт из-за ужесточения антибот-мер. Появляются новые провайдеры, что толкает цены вниз.
Главный двигатель для этого рынка - запуск 5G сетей, так как это существенно расширит существующий пул IP адресов. Но это не панацея, многие сегодняшние проблемы с раширением пула не уйдут.
Борьба с мобильными прокси - это самый главный фактор, который может повлиять на индустрию в целом. Некоторые сервисы уже пытаются определять прокси даже по мобильным IP – например, по аномальной активности одного устройства (если с него идет трафик в десятки раз больше среднего пользователя). В будущем возможно развитие механизмов детектирования поведения, которые усложнят жизнь даже мобильным прокси. Тогда понадобятся новые уловки – вплоть до ограничений скорости запросов, имитации человеческих пауз и т.д. (хотя все это уже придумано и широко используется, пользователями).
В этой статье я решил намного ближе изучить мобильные прокси, зачем они нужны, как работают и почему это флагман среди всех видов прокси по моему мнению.
Для чего вообще нужны прокси? Уйдем от банальных вещей, которые сразу же приходят на ум - типа обход ограничений и доступ к контенту, заблокированному в вашей стране, и вот как используют мобильные прокси:
- парсинг поисковой выдачи Яндекс и Гугл;
- парсинг веб ресурсов и ведение конкурентной разведки (да, банальное отслеживание цен конкурентов можно вполне себе назвать конкурентная разведка);
- арбитраж в социальных сетях (мультиаккаунтинг);
- рыночная аналитика (проверка цен из конкретных регионов, проверка наличия товаров на складе, для пользователей различных стран и регионов);
- тестирование и кибербезопасность.
Что такое мобильные прокси и как они работают
Мобильные прокси - это посредник, благодаря которому ваше устройство (используемое устройство) маскируется под другое. Мобильные прокси используют для решения данной задачи мобильный интернет и ip-адреса операторов сотовой связи (и в зависимости от ГЕО, конкретного оператора сотовой связи это могут быть сети любого формата, от 3G до LTE, что, как вы понимаете, напрямую зависит на скорость передачи данных у конечного потребителя мобильных прокси).Как это выглядит с технической точки зрения - у провайдера мобильных прокси есть специальное оборудование, с сим-картами различных мобильных операторов, чем больше SIM-карт, тем больше вариабельность выбора, разнообразнее ГЕО этих мобильных прокси и устойчивость от блокировок.
Теперь что касается блокировок: в целом мобильные прокси намного устойчивее других видов прокси, так как есть такое понятие как Network Address Translation или по простому NAT. NAT - это технология, которая позволяет множеству устройств внутри одной локальной сети использовать один общий внешний IP-адрес для выхода в Интернет.
Представьте, что ваш дом — это локальная сеть, а все комнаты — это устройства (компьютеры, смартфоны и т.д.). У каждой комнаты есть свой внутренний номер (приватный IP), но у дома один общий почтовый адрес (публичный IP). Когда кто-то из комнаты отправляет письмо (запрос в Интернет), специальное устройство (маршрутизатор с NAT) заменяет внутренний адрес на внешний, чтобы письмо выглядело, как будто оно пришло от дома в целом. А когда приходит ответ, маршрутизатор понимает, какая комната (устройство) его ожидала, и перенаправляет его по внутреннему адресу.
Почему это важно? Потому что на одном ip адресе может “висеть” несколько тысяч абонентов сотовой связи и если один или несколько пользователей ведут себя подозрительно (напоминают ботов и т.п.) веб ресурс с большей степенью вероятности просто закроет на это глаза, так как бан “подозрительного” мобильного ip-адреса приведет к блокировке доступа к этому ресурсу потенциально нескольких тысяч обычных пользователей. Это все равно, что запретить всем владельцам кроссовок Nike определенного фасона заходить в супермаркет, так как охрана поймала вора в этих кроссовках ранее (грубоватое сравнение, но какое есть).
Сравнение мобильных прокси с другими видами прокси
Поговорим об аналогах, резидентных и серверных прокси, в чем отличие?Резидентные прокси - наиболее близкие по безопасности и используемым ip-адресам, так как резидентные прокси используют ip адреса реальных людей, но это ip адреса, которые предоставляются обычным людям их интернет провайдерами. Технология там немного другая, но суть та же, ip-адрес реального человека безопаснее использовать, чем ip адрес, используемый в серверных прокси.
Но в резидентных проксях нет такой фишки как NAT и в случае подозрений, такие up адреса блокируются намного безжалостнее, чем мобильные.
Серверные прокси, даже рядом не стоят по безопасности с резидентными и уж тем более, с мобильными прокси. Серверные (их еще называют датацентр прокси) - используют пулы ip-адресов, которые принадлежат конкретных дата центрам (и эти пулы уже давно всем известны, ну или почти всем).
С безопасностью разобрались, а что со скоростью? По скорости, качественные мобильные прокси сопоставимы с резидентными, но не сравняться с серверными (хотя, можно поискать провайдера, который скажет, что его Кунг фу, лучше Кунг фу любого серверного прокси провайдера).
Техническое устройство мобильных прокси
Сеть мобильных прокси устроена следующим образом множество смартфонов (мобильных модемов) по всему миру подключены к операторам сотовой связи, объединены в сеть (в одной стране оператор может иметь тысячи ip адресов), клиент подключаясь к мобильным прокси получает один из этих ip-адресов и главная фишка всего этого в том, что при смене ip адреса по таймеру или по запросу через АПИ происходит переподключение модема к сети в результате чего ему выдается новый ip адрес.Нормальные провайдеры мобильных прокси предоставляют достаточно гибкую ротацию без доплат.
Считаю нужным еще раз упомянуть, что трафик, исходящий от таких прокси неотличим от трафика реального пользователя (передается тот же часовой пояс, местоположение, тип операционной системы, что повышает доверие серверов)
Преимущества и недостатки мобильных прокси
Вот почему мобильные прокси так ценятся:- Запросы, поступающие через мобильные IP в глазах ресурсов, к которым эти запросы поступают, выглядят как от обычных пользователей. Сайты видят типичные мобильные характеристики (идентификаторы сети, признаки SIM- карты), из-за чего такие адреса не спешат баниться, так как можно в горячке заблокировать тысячи ни в чем неповинных пользователей.
- Динамическая IP ротация может происходить очень часто, что позволяет обходить лимит запросов (к примеру на каком то сайте установлена блокировка на количество обращений от одного ip адреса). Скрипт, который использует мобильные прокси может отправить n-ое число запросов с одного IP адреса, далее сменить его по запросу и продолжить выполнение, без получения капчи (экономия налицо). В результате ротации IP адреса, каждое новое подключение будет считаться “чистым”.
- Большой пул адресов и география - один мобильный прокси дает доступ к тысячам IP адресам одного сотового оператора, и в рамках ротации вы можете маскироваться под пользователей, к примеру Москвы, сначала из района Кузьминок, а при смене переместиться на Таганку и так далее.
- Параллельность запросов - многие сервисы позволяют использовать свои мобильные прокси в несколько потоков, что повышает скорость обработки данных в разы (правда время стоит денег, это надо понимать).
Зависимость от мобильных сетей - скорость не самый главный конек мобильных прокси и в пиковые часы, каких нибудь популярных регионов можно оценить это на себе (ради интереса, попробуйте выбрать ГЕО нашего Юга в летний сезон и протестируйте скорость передачи данных, если есть сомнения что скорость зависима от этого фактора). Обрывы, снижение скорости и т.п. будут всегда, это нужно принять.
Стоимость - цена на использование мобильных прокси не может быть маленькой, я надеюсь вы это понимаете? Провайдер сильно тратится на закупку оборудования, оплачивает мобильные тарифы и все это нужно окупать, так что да, цена слабая сторона мобильных прокси. Для сравнения - серверные прокси могут стоить до 2 долларов в месяц, тогда как цена на мобильные прокси может доходить до 40-50 долларов.
Разработчики: устанавливают цену в 50 долларов за мобильные прокси / Серверные прокси за 2 доллара: Я для тебя какая-то шутка?
Динамическая смена ip адреса - я поместил эту опцию и в достоинства и в недостатки, и вот почему - динамическая смена ip неминуема, то есть вы не сможете постоянно использовать один и тот же ip адрес долго, он обязательно изменится. И если вам важно постоянно быть на одном ipшнике, увы это не ваш вариант.
Испорченные ip - это не самая распространенная проблема для мобильных прокси, и тем не менее упомянуть ее стоит - если какой то ресурс пометил Ip адрес, как нежелательный, есть вероятность что могут возникнуть проблемы на конкретном ресурсе с конкретным Ip, но первое - это временно (после смены ip проблема будет купирована) и второе - провайдеры стараются чистить свои пулы.
Для чего мобильные прокси точно не подойдут
Есть задачи, для решения которых точно не стоит использовать мобильные прокси, а именно те, где требуется стабильное подключение - например стриминг видео или использование торрентов, скачивание больших объемов данных. Из-за ограничений в скорости, постоянных ротаций ip адресов будут проблемы. Для подобных задач я бы рекомендовал использовать резидентные или серверные прокси.Что выбрать - провайдера предлагающего мобильные прокси или поднять их самостоятельно?
Провайдер мобильных прокси
В случае с мобильными прокси у пользователя есть выбор (в отличие от резидентных или серверных прокси) - можно найти хорошего посредника, который уже все сделал за вас и вам нужно только заплатить деньги и начать пользоваться прокси, либо можно поднять мобильные прокси самостоятельно (для тех, кто любит танцы с бубнами).Начнем с простого - провайдер мобильных прокси:
Рынок растет, по моему мнению он находится еще в стадии формирования и не поделен гигантами, как многие другие. Что нужно учесть при выборе провайдера:
- Репутация - можно посмотреть топы, почитать отзывы.
- География операторов - важный пункт, чем обширнее география, тем больше возможностей у вас.
- Параметры ротации - важно понять, какой для вас допустимый минимальный и максимальный интервал по смене ip, есть ли настройки для длительного использования одного ip без ротации, какие варианты ротации существуют (по таймеру, по АПИ).
- Количество одновременных подключений (можно найти провайдеров, которые предоставляют несколько потоков для одного прокси, что может сэкономить несколько шекелей).
- Ограничение по трафику или безлимит - важный пункт, если есть ограничения, то будьте готовы к дополнительным тратам, при превышении лимита.
- Наличие адекватной техподдержки (это вы уже поймете в процессе использования, но можно наткнуться на отзывы, которые описывают этот пункт).
Альтернатива провайдеров мобильных прокси
В принципе, поднять собственные мобильные прокси с использованием мобильного телефона вообще не такая уж и проблема, и даже не нужно иметь каких то особых технических навыков. Я сам это делал, и знаю о чем говорю. Но есть два путя((( Один сложный, его я не пробовал, но знаю людей, которые делали (как говориться, один друг моего хорошего знакомого мне рассказал), а второй простой способ, я его делал сам, но там есть один нюанс - вы будете использовать ip адрес вашего региона.
Все что вам понадобится - мобильный телефон, который вы будете использовать в качестве точки доступа, с помощью специального сервиса, вы расшариваете ваш ip адрес, и можете использовать свой телефон как и обычные прокси. Но один нюас - это будет ip адрес где расположен телефон в настоящий момент, там не получится подключиться к сотовой сети какого нибудь французского оператора, да и платить все равно придется, меньше чем провайдеру, но придется.
Второй способ более затратный и требует приобретения дополнительного оборудования, к которому подключается мобильный интернет модем.
Вам понадобиться одноплатный компьютер, для этих целей используют Raspberry Pi, но такой, чтобы там был порт Ethernet, маршрутизатор (чтобы подключить ваш Raspberry Pi к компьютеру, мобильный USB модем и Ethernet кабель. В целом если у вас есть все вышесказанное, в сети есть много гайдов по поднятию мобильных прокси с использованием такого вот набора юного автоматизатора. У меня такого набора не оказалось, поэтому давать рекомендации по статьям в интернете без собственного опыта не буду.
Практические советы по эффективному использованию мобильных прокси
Несколько практических советов, по обращению с мобильными прокси:Мониторьте качество IP: если замечаете, что свежий мобильный IP сразу ловит капчу, меняйте его (вручную через API или автоматически). Не тратьте время на «прогоревшие» адреса – у вас их тысячи, найдите чистый.
Храните сессии отдельно: при массовой работе (например, 50 аккаунтов) – разграничивайте профили браузера и прокси для каждого аккаунта. Не смешивайте куки и кэш между ними, иначе преимущество прокси сойдет на нет.
Комбинируйте с другими методами: помимо антидетект-браузеров, используйте прокси вместе с fingerprint-менеджерами, сменой User-Agent, эмулируйте параметры устройства. Мобильный IP – это мощно, но если все ваши запросы с одного IP вдруг идут с одинаковым уникальным браузерным отпечатком, вас могут вычислить.
Следите за расходом: мобильные прокси зачастую тарифицируются по времени, но некоторые – по трафику. При интенсивном парсинге убедитесь, что трафик безлимитный, или оптимизируйте запросы (сжимайте ответы, отключайте загрузку изображений и т.п.).
Что дальше?
Есть ли будущее у этого рынка и куда он движется?Я думаю, что со временем, рынок будет прирастать новыми игроками и появятся свои гиганты, которые будут отжимать долю трафика у небольших сервисов, но пока что это еще не так. Спрос на мобильные прокси растёт из-за ужесточения антибот-мер. Появляются новые провайдеры, что толкает цены вниз.
Главный двигатель для этого рынка - запуск 5G сетей, так как это существенно расширит существующий пул IP адресов. Но это не панацея, многие сегодняшние проблемы с раширением пула не уйдут.
Борьба с мобильными прокси - это самый главный фактор, который может повлиять на индустрию в целом. Некоторые сервисы уже пытаются определять прокси даже по мобильным IP – например, по аномальной активности одного устройства (если с него идет трафик в десятки раз больше среднего пользователя). В будущем возможно развитие механизмов детектирования поведения, которые усложнят жизнь даже мобильным прокси. Тогда понадобятся новые уловки – вплоть до ограничений скорости запросов, имитации человеческих пауз и т.д. (хотя все это уже придумано и широко используется, пользователями).
