Поиск в Google с использованием селена вызывает подозрительный сетевой трафик и показывает reCaptcha

Question

Я должен автоматизировать задачу, которая включает в себя много поисков в Google, которые я делаю с помощью селена и питона.После 20 поисков Google говорит обнаружена подозрительная активность и дает reCaptcha, чтобы доказать, что я не робот.
Я пробовал другие способы (например, изменение профиля), но все еще та же проблема.

Как избавиться от этого?

Answer 1

Я решил эту проблему, вращая приличный пул прокси-серверов с внутренним балансировщиком нагрузки, переключая пользовательский агент и используя API решения для проверки капчи, где это необходимо.Большое количество чистых IP-адресов и их разумное использование пока имеют наибольшее влияние.

Answer 2

Веб-сайты могут легко обнаружить ваш сетевой трафик и идентифицироваться как BOT . Google уже выпустил 5 (пять) reCAPTCHA на выбор при создании нового сайта.В то время как четыре из них активны и reCAPTCHA v1 закрывается.

reCAPTCHA версия и типы

• reCAPTCHA v3 (проверьте запросы с помощьюоценка): reCAPTCHA v3 позволяет проверить, является ли взаимодействие законным без какого-либо взаимодействия с пользователем.Это чистый API-интерфейс JavaScript, возвращающий счет, который дает вам возможность действовать в контексте вашего сайта: например, требовать дополнительных факторов аутентификации, отправлять сообщения на модерацию или регулировать количество ботов, которые могут очищать контент.
• reCAPTCHA v2 - Флажок "Я не робот" : Флажок "Я не робот" требует, чтобы пользователь установил флажок, указывающий, что пользователь не робот.Это либо сразу пропустит пользователя (без CAPTCHA), либо предложит ему проверить, являются ли они людьми.Это самый простой вариант для интеграции, и для его отображения требуется всего две строки HTML.

• reCAPTCHA v2 - невидимый значок reCAPTCHA : невидимый значок reCAPTCHA не требует от пользователя нажатия на флажок, вместо этого он вызывается непосредственно, когда пользователь нажимает на существующую кнопку на вашем сайте, или может вызываться с помощью вызова API JavaScript,Интеграция требует обратного вызова JavaScript, когда проверка reCAPTCHA завершена.По умолчанию только самый подозрительный трафик будет предложено решить капчу.Чтобы изменить это поведение, измените настройки безопасности своего сайта в дополнительных настройках.

• reCAPTCHA v2 - Android : Библиотека reCAPTCHA Android является частью API SafetyNet служб Google Play.Эта библиотека содержит встроенные API-интерфейсы Android, которые можно интегрировать непосредственно в приложение.Вы должны настроить службы Google Play в своем приложении и подключиться к GoogleApiClient, прежде чем вызывать API reCAPTCHA.Это либо сразу пропустит пользователя (без приглашения CAPTCHA), либо заставит его проверить, являются ли они людьми.
• reCAPTCHA v1 : reCAPTCHA v1 был закрыт с марта 2018 года.

---

Решение

Однако существуют некоторые общие подходычтобы избежать обнаружения при просмотре веб-страниц:

• Первым и главным атрибутом, по которому веб-сайт может определить ваш скрипт / программу, является ваш размер монитора .Поэтому рекомендуется , а не , чтобы использовать обычный Viewport .
• Если вам нужно отправить несколько запросов на сайт, продолжайте изменять User Agent по каждому запросу.Здесь вы можете найти подробное обсуждение Как изменить пользовательский агент Google Chrome в Selenium?
• Для имитации поведения human like вам может потребоваться замедлить выполнение скриптадаже за пределами WebDriverWait и ожидаемые_условия , вызывающие time.sleep(secs).Здесь вы можете найти подробное обсуждение Как перевести webdriver в Python на миллисекунды

Outro

См .:

• Невозможно использовать Selenium для автоматизации входа на сайт Chase
• Веб-драйвер Selenium: изменение флага navigator.webdriver для предотвращения обнаружения селена