Python WebScrapping - я могу перемещаться по сайту, но запрос возвращает «403»

Question

Я хочу Webscrap сайт в коде, но я получаю код 403. Я искал все темы, касающиеся преодоления этой проблемы, и использовал рекомендации для определения пользовательского агента, однако он все еще не работает.

Это код, который я пробовал.

from requests import get

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'}
idealista = 'https://www.idealista.pt/comprar-casas/lisboa-distrito/pagina-1'
response = get(idealista, headers=headers)
print(response)

Он возвращает "Response [403]". Как я могу получить код 200?

Answer 1

Если вы все еще получаете запрет, попробуйте добавить дополнительные заголовки.

headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/45.0',
           'referer': 'https://www.idealista.pt/comprar-casas/lisboa-distrito/pagina-1' }
request = requests.get('https://www.idealista.pt/comprar-casas/lisboa-distrito/pagina-1', headers=headers)

output

<Response [200]>