Python выборки данных 403

Question

Я пытаюсь получить данные с веб-страницы, используя urllib2. Страница видна в браузере, но через скрипт я получаю HTTPError: HTTP Error 403: Forbidden

Я также попытался имитировать запрос браузера, изменив строку агента пользователя, но безуспешно.

Есть идеи по этому поводу?

Answer 1

Я попытался с помощью данных взлома и Firefox отправить только пользовательский агент, и я получил 403. Попробуйте добавить другие заголовки:

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-us,en;q=0.5
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 115
Connection: keep-alive

Я пытался, и это должно работать.

Answer 2

Сайт проверяет ваш User-Agent, просто установите его на Internet Explorer:

request.add_header('User-Agent', 'Internet Explorer')

Я подтвердил, что это работает с wget, и вы получите 403, если вы не установите свой пользовательский агент в ИнтернетПроводник.

Answer 3

:) Я тоже пытаюсь получить цитаты из NSE! как pythonFoo говорит, что вам нужны дополнительные заголовки. Достаточно только принять Hower. Пользовательский агент может сказать python (оставайтесь верным!)