Неполный анализ Pinterest с использованием urllib, запросов и селена - PullRequest
0 голосов
/ 20 декабря 2018

Я попытался проанализировать следующую страницу Pinterest с помощью urllib, запросов и chromedriver:

https://www.pinterest.com/pin/463237511669606028/

Но похоже, что в моем результате отсутствуют некоторые разделы страницы.В частности, я пытаюсь проанализировать количество повторных выводов (под комментариями), что я не могу.

Я пробовал оба эти варианта, но класс userActivity не является частью того, что я получаю:

driver.get("https://www.pinterest.com/pin/463237511669606028/")
html = driver.page_source
soup = BeautifulSoup(html, features="html.parser") 

и

req = urllib2.Request("https://www.pinterest.com/pin/463237511669606028/", 
headers={'User-Agent': "PyBrowser"}) 
con = urllib2.urlopen(req)
content = con.read()
soup = BeautifulSoup(content,features="html.parser")

Есть идеи?

...