Как разобрать несколько тегов тела, используя красивый суп? - PullRequest
1 голос
/ 28 октября 2019

Я пытаюсь разобрать страницу регистрации веб-сайтов, которая в основном всплывающая. При открытии всплывающего окна значение <body> меняется на <body class= modal-open>. Я хочу разобрать через <body class= modal-open>. Пожалуйста помоги. Я пробовал следующий код.

from bs4 import BeautifulSoup, SoupStrainer
from selenium import webdriver
driver.get("some site")
content = driver.page_source
while(loaded):
            state = driver.execute_script('return document.readyState')
            if state == 'complete':
                loaded = False #this is to stop the loop if the page completely loads with its js changes
                html2 = driver.execute_script("return document.documentElement.innerHTML;")
                soup = BeautifulSoup(html2, "lxml")
                body = soup.find_all('body', attrs={'class':['modal-open']})
                print(body)
...