При открытии веб-страницы часто появляются всплывающие окна в слое выше фактического текстового содержимого. Самым заметным всплывающим окном является сообщение «мы используем куки».
Я хочу получить всплывающее содержимое (текст) веб-страницы - без файла cookie и т. Д., Которое я попытался использовать с помощью следующего кода:
from selenium import webdriver
driver = webdriver.Firefox())
driver.set_page_load_timeout(10)
driver.get("https://www.cookie-checker.com/")
website_text = driver.find_element_by_tag_name("body").text
print(website_text)
Однако печатается весь отображаемый текст, включая всплывающие окна с файлами cookie:
Этот сайт использует куки-файлы. Мы используем куки-файлы для персонализации контента и
реклама, чтобы обеспечить функции социальных сетей и анализировать наш трафик. Мы
также делитесь информацией о вашем использовании нашего сайта с нашими социальными
медиа, рекламные и аналитические партнеры, которые могут объединить это с
другая информация, которую вы им предоставили или которую они
взимается с вашего использования их услуг. Вы соглашаетесь на наши куки
если вы продолжаете использовать наш сайт. ОК Необходимые настройки ...
Есть ли способ получить контент (текст) веб-страницы без этих всплывающих окон?
Конечно, я мог бы найти конкретный xpath всплывающего элемента и удалить / проигнорировать его, но мне нужно решение, которое работает на любой веб-странице.