Scrapyng AngularJS с Селеном в Python в режиме без головы Chrome - PullRequest
Новая
       18

Scrapyng AngularJS с Селеном в Python в режиме без головы Chrome

0 голосов
/ 31 декабря 2018

Я хочу сканировать информацию с веб-страницы, созданной с помощью angularjs.

Моя проблема в том, что, если я сканирую страницу в режиме "--headless", я не получаю целевой элемент.Без «--headless» все работает нормально.Кто-нибудь может объяснить или указать ссылку, в чем отличие от «--headless»?

I red http://allselenium.info/wait-for-elements-python-selenium-webdriver/.В чем еще может быть проблема?

Спасибо за любые подсказки.

РЕДАКТИРОВАТЬ: Он также не работает с условиями ожидания в режиме без головы

1 Ответ

0 голосов
/ 02 января 2019

Вот решение, которое сработало для меня после некоторого исследования:

https://github.com/GoogleChrome/puppeteer/issues/665

https://intoli.com/blog/making-chrome-headless-undetectable/

Обнаружен запрос без заголовка, так чтоустановить аргументы, скрывающие безголовый режим: 

options.add_argument('--headless')
options.add_argument('--lang=de-DE')
options.add_argument('--user-agent="Mozilla/5.0 (Windows NT 4.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36"')

options.add_argument("window-size=1920x1080")
...