почему модуль запросов случайно не работает с этим сайтом - PullRequest
Новая
       2

почему модуль запросов случайно не работает с этим сайтом

1 голос
/ 27 мая 2020

Я использую python для загрузки некоторых аудиодорожек с archive.org, вот один пример ссылки: http://archive.org/32/items/goblinmarket_etk_librivox/goblinmarket_01_rossetti_64kb.mp3 В браузере это перенаправляет на: https://ia801601.us.archive.org/32/items/goblinmarket_etk_librivox/goblinmarket_01_rossetti_64kb.mp3 В моем приложении я использую этот код: 

headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36', 'Accept':'*/*'}
v=requests.get(what[0], stream=True, allow_redirects=True, headers=headers)

Иногда это работает так, как ожидалось (и это здорово!), В других случаях, хотя оно на некоторое время зависает, прежде чем вызывать ошибку, которая идет по строкам max превышено количество повторных попыток с URL-адресом.

Сможет ли кто-нибудь указать мне в правильном направлении, как это исправить? Браузеры загружают его без проблем. Дополнительная информация: Обычно это не удается с первой попытки, но потом работает бесследно.

1 Ответ

0 голосов
/ 28 мая 2020

Для тех, кто столкнется с этим в будущем, после опубликованных комментариев (за которые я очень благодарен), я посмотрел и добавил язык принятия, обновление небезопасных запросов, принятие кодировки и максимальные заголовки кеша. Один из них (не совсем уверен, какой), но один из них устранил проблему.

Всем спасибо.

...