В браузере сайт (curseforge.com) автоматически перенаправляет приведенную ссылку на нужную ссылку с ответом 301. Однако использование Python запросов всегда возвращает ответ 403. Даже после передачи в запрос всех заголовков браузера.
Есть идеи? Они, очевидно, не хотят веб-скребков, но я подумал, что имитация заголовка отлично будет работать. Я бы предпочел не использовать Selenium, чтобы обойти это.
Код:
import requests
url = 'https://minecraft.curseforge.com/projects/227873'
headers = {
'authority': 'minecraft.curseforge.com',
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'en-US,en;q=0.9',
'cache-control': 'no-cache',
'pragma': 'no-cache',
'sec-fetch-mode': 'navigate',
'sec-fetch-site': 'none',
'upgrade-insecure-requests': '1',
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36 OPR/63.0.3368.66'
}
response = session.get(url, headers=headers)
print(response.status_code)
Я тоже пытался использовать 'User-Agent', а также urllib3, но все эти пути были бесплодны.
Это что-то связано с печеньем? Заголовки все еще не правы? Любая помощь будет принята с благодарностью!