Ошибка «Браузер не поддерживается» при очистке веб-страниц с помощью BeautifulSoup

Question

Я пытаюсь очистить веб-сайт, но получаю эту ошибку "Браузер не поддерживается". Кто-нибудь знает, как это исправить? Спасибо.

import bs4
import requests

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/39.0.2171.95 Safari/537.36'}

session = requests.get("https://revengeofficial.com/webstore", headers=headers)

page = bs4.BeautifulSoup(session.text, "html.parser")

print(page.title.text)

Выход: http://prntscr.com/kozv1x

Изменить: После нескольких попыток я все еще не могу найти решение, может ли кто-нибудь еще помочь?

Answer 1

Следующий пользовательский агент работает:

import bs4
import requests

headers={'User-Agent': 'Mozilla/5.0 (iPad; U; CPU OS 3_2_1 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Mobile/7B405'}
session = requests.get("https://revengeofficial.com/webstore", headers=headers)
page = bs4.BeautifulSoup(session.text, "html.parser")

print(page.title.text)

Это отображается:

WEBSHOP — Revenge — Official Clothing Shop

Если это не работает для вас, попробуйте использовать другой IP-адрес для запроса. Также возможно, что вы сделали слишком много запросов к серверу.

Протестировано с использованием Python 3.6.3, Запросы 2.18.4, BeautifulSoup 4.6.0

Answer 2

Я думаю, что проблема связана с заголовком user-agent. Я попытался выполнить запрос GET в POSTMAN с вашим пользовательским агентом, и он не работал, но с этим он сделал:

«Пользователь-агент»; 'Mozilla / 5.0 (Windows NT 6.1; Win64; x64) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 68.0.3440.106 Safari / 537.36'