Может ли веб-сайт определить, когда используется Chromium через Puppeteer? - PullRequest
0 голосов
/ 16 января 2019

При очистке веб-сайта с использованием Chromium с помощью Node plus Puppeteer (не Selenium и ChromeDriver) он может обнаруживать и блокировать выдачу персонализированной ошибки вместо обслуживания страниц, при этом он загружается должным образом, если Chromium загружается вручную. Итак, вопрос: есть ли способ обнаружить анти-бот программное обеспечение, установленное на веб-сайте, и обойти его во время автоматизации браузера?

PS: я прошел все обсуждаемые вопросы @ Может ли веб-сайт определить, когда вы используете селен с хроматографом? и выполнил соответствующие тесты, учитывая все ключевые моменты, собранные оттуда, но в итоге получил схожие результаты, как с селеном. Поэтому я хотел бы знать, есть ли какие-либо последние результаты или какие-либо новейшие технологии автоматизации, противостоящие этой технической проблеме. Также замена $ cdc_ больше не работает с последними версиями Selenium плюс ChromeDriver в соответствии с моими прошлыми ночными тестами.

Пример сайта: https://www.naukri.com/posted-today-jobs, я пытаюсь очистить перечисленные там задания с помощью Chromium + Node + Puppeteer, но его обнаружение и блокировка открываются при открытии страниц на новых вкладках, как в режиме без заголовка, так и в режиме headfull. Аналогичные результаты с последними версиями Selenium + Node + ChromeDriver.

1 Ответ

0 голосов
/ 16 января 2019

Да, это возможно - как вы сами заявляете. Обратитесь к администратору или разработчику, чтобы отключить его для вас, или передайте вам обходной ключ тестера. Другой вариант - сделать так, чтобы они занесли в белый список ваш IP, поскольку вы, несомненно, являетесь законным пользователем, работающим на их компанию, не пытающимся выманивать чужие данные, стоить им возможностей веб-хостинга и увеличивать их счет.

...