urllib.request.urlopen вызывает ошибку 404, но статус ссылки 302 - PullRequest
Новая
       37

urllib.request.urlopen вызывает ошибку 404, но статус ссылки 302

0 голосов
/ 12 февраля 2019

Я собираю информацию из списка URL-адресов, хранящихся в CSV.Я получаю HTTPError: HTTP Error 404: Not Found, когда запускаю список URL-адресов через urllib.request.urlopen, но status_code для всех ссылок - 200 или 302. Есть восемь ссылок со статусом 302.

Я прочитал urllibдокументация и она появляется urllib.request должен иметь возможность обрабатывать перенаправления.

url_list = df_1.responseurl.tolist()

for url in url_list:
        headers = {'User-Agent':
              'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}
    req = Request(url, headers=headers)
    html = urllib.request.urlopen(req).read()
    f = open (i.strip('.csv'),'a+',encoding="utf-8")
    f.write(text_from_html(html))
    f.close()

Есть ли что-то, что я не понимаю в том, как urllib обрабатывает 302 ссылки?

...