Загрузите HTML-файл Linkedin, используя urllib2 в Python 2.7. - PullRequest
Новая
       18

Загрузите HTML-файл Linkedin, используя urllib2 в Python 2.7.

0 голосов
/ 24 декабря 2018

Я пытаюсь загрузить HTML-файл моей страницы Linkedin, используя urllib2.Я пробовал следующий код, но есть проблема.когда я открываю Linkedin в браузере, появляется небольшая страница загрузки, и после этого появляется настоящая страница.И когда я пытаюсь получить страницу, используя urlopen, страница загрузки будет возвращена в качестве ответа. 

import urllib2 as ulib
import cookielib

cj = cookielib.MozillaCookieJar()
cj.load('cookies.txt')
opener = ulib.build_opener(ulib.HTTPCookieProcessor(cj))
r = opener.open("https://www.linkedin.com/feed/")

req = ulib.Request("https://www.linkedin.com/feed/")
try:
    response = ulib.urlopen(req, timeout=10)
except ulib.URLError as e:
    if hasattr(e, 'reason'):
        print 'We failed to reach a server.'
        print 'Reason: ', e.reason
    elif hasattr(e, 'code'):
        print 'The server couldn\'t fulfill the request.'
        print 'Error code: ', e.code
else:
    the_page = response.read()
    f1 = open('testfile.txt', 'w+')
    f1.write(the_page)
    f1.close()

есть ли способ заставить программу ждать, пока страница загрузится полностью или получить секундуответ на запрос?спасибо

...