Сайт возвращает 301 ответ в браузере, 403 ответа с использованием Python запросов, несмотря на имитацию заголовков браузера - PullRequest
0 голосов
/ 08 января 2020

В браузере сайт (curseforge.com) автоматически перенаправляет приведенную ссылку на нужную ссылку с ответом 301. Однако использование Python запросов всегда возвращает ответ 403. Даже после передачи в запрос всех заголовков браузера.

Есть идеи? Они, очевидно, не хотят веб-скребков, но я подумал, что имитация заголовка отлично будет работать. Я бы предпочел не использовать Selenium, чтобы обойти это.

Код:

import requests

url = 'https://minecraft.curseforge.com/projects/227873'

headers = {
            'authority': 'minecraft.curseforge.com',
            'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
            'accept-encoding': 'gzip, deflate, br',
            'accept-language': 'en-US,en;q=0.9',
            'cache-control': 'no-cache',
            'pragma': 'no-cache',
            'sec-fetch-mode': 'navigate',
            'sec-fetch-site': 'none',
            'upgrade-insecure-requests': '1',
            'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36 OPR/63.0.3368.66'
        }

response = session.get(url, headers=headers)
print(response.status_code)

Я тоже пытался использовать 'User-Agent', а также urllib3, но все эти пути были бесплодны.

Это что-то связано с печеньем? Заголовки все еще не правы? Любая помощь будет принята с благодарностью!

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...