Как избежать проблемы 403 с использованием BeautifulSoup и заголовков?

Question

Я использую комбинацию request и beautifulsoup для разработки программы очистки веб-страниц в python. К сожалению, у меня проблема 403 (даже с использованием header ). Вот мой код:

from bs4 import BeautifulSoup
from requests import get

headers_m = ({'User-Agent':
            'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36'})
sapo_m = "https://www.idealista.it/vendita-case/milano-milano/"

response_m = get(sapo_m, headers=headers_m)    

Answer 1

Это не общий python вопрос. Сайт блокирует такие простые попытки удаления, вам нужно найти набор заголовков (укажите c для этого сайта), которые пройдут валидацию.

С уважением,

Answer 2

response_m.text может быть заблокирован CloudFlare