веб-разбор с python. Не могу получить всю страницу - PullRequest
Новая
       8

веб-разбор с python. Не могу получить всю страницу

0 голосов
/ 23 апреля 2020

Я пытаюсь загрузить веб-страницы с python. Некоторые страницы показаны только частично. Может быть потому, что они состоят из нескольких кадров, но я не уверен.

Например:

https://www.gurufocus.com/stock/IBM/summary

Вот мой код. 

import requests
req = requests.get(URL) 
with open("d:\guru100.html", "w", encoding="utf-8") as f:
    f.write(req.text)

Лучше использовать webdriver. Он возвращает больше, чем предыдущий код на сайте Yahoo, но все еще дает мало на сайте Gurufocus. Код 

from selenium import webdriver    
driver = webdriver.Firefox()
driver.get("https://www.gurufocus.com/stock/IBM/summary")
with open('d:\guru100.html', 'w', encoding="utf-8") as f:
    f.write(driver.page_source)

Как мне получить всю страницу?

1 Ответ

1 голос
/ 23 апреля 2020

Укажите время для успешной загрузки страницы. 

from selenium import webdriver
import time
driver = webdriver.Firefox()
driver.get("https://www.gurufocus.com/stock/IBM/summary")
time.sleep(10)
print(driver.page_source)
...