Я использую метод для получения html, иногда он работает и не может получить какие-либо данные, просто получить «Страница не найдена» (я могу войти в любой браузер). Я не знаю, если это система безопасности, чтобы избежать многократных запросов или что-то еще, веб-сайт: https://www.bcn.cat/estadistica/catala/dades/barris/economia/renda/rdfamiliar/a2017.htm
Кто-нибудь знает, как с этим бороться?
Метод:
response = requests.get(website, headers={
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) \
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36',
'referer': 'http://habitatge.gencat.cat/'})
soup = BeautifulSoup(response.content, 'html.parser')
print soup
table = soup.find('table')
print table
Большое вам спасибо