Я немного соскребаю с какого-то местного сайта, который публикует события в моем городе.Они показывают как прошлые, так и будущие события.Меня интересуют только будущие события, поэтому при запуске очистки я использую следующий фрагмент кода для прокрутки вниз к прошлым событиям (это означает, что вся таблица будущих событий была загружена):
my_element = driver.find_element_by_xpath("//*[contains(text(), 'Past Events')]")
driver.execute_script("return arguments[0].scrollIntoView();", my_element)
Это работает безупречно, предоставляя мне всю необходимую информацию.Но когда я пытаюсь уйти без головы, это выдает мне следующую ошибку:
Message: no such element: Unable to locate element: {"method":"xpath","selector":"//*[contains(text(), 'Past Events')]"}
Я использую этот бит кода, чтобы уйти без головы:
options = webdriver.ChromeOptions()
options.add_argument('headless')
options.add_argument('--no-sandbox')
driver = webdriver.Chrome(chrome_options=options)
Поэтому, когда я иду без головы, он больше не может найтиТекст прошедших событий.Если я удаляю фрагмент кода, который находит Прошлые события (в этот момент я согласен на что угодно, чтобы остаться без головы), скребок больше не будет возвращать ничего, поэтому в основном он не будет загружать события вообще, когда без головы.
Есть какие-нибудь идеи о том, как заставить страницу полностью загружаться в режиме без головы?