Selenium: прокрутите вниз и поймайте все фреймы, которые не работают - PullRequest
0 голосов
/ 18 мая 2019

Я довольно новичок в Web Scraping с Selenium.Я посмотрел на эту веб-страницу: https://www.globes.co.il/news/article.aspx?did=1001285710

Я прокрутил вниз до конца и запустил в консоли следующий код JS:

[].slice.call(document.getElementsByTagName("iframe")).map((iframe) => {
if (iframe.src) { 
    return iframe.src;
} else {
    return "";
}})

Я получил список путей.Один путь был: «https://spoxy -shard2.spot.im / v2 / spot / .....»

Я пытался «имитировать» это поведение с помощью драйвера Selenium для Python,Я написал следующий код:

options = webdriver.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
options.add_argument('--incognito')
options.add_argument('--headless')
driver = webdriver.Chrome("C:\\Program Files\\chromedriver\\chromedriver.exe", options=options)

driver.get("https://www.globes.co.il/news/article.aspx?did=1001285710")  
driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")  
iframes = driver.find_elements_by_tag_name("iframe")
print('\n'.join([iframe.get_attribute('src') for iframe in iframes if iframe.get_attribute('src') is not None]))

Однако я не получил путь "https://spoxy -shard2.spot.im / v2 / spot / ....."в этом списке.

Знаешь почему?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...