запрос возвращает 403 в python Beautifulsoup

Question

Я использую красивый суп, чтобы попытаться проанализировать информацию с веб-страницы:

url='https://www.onthemarket.com/for-sale/2-bed-flats-apartments/shortlands-station/?max-bedrooms=&radius=0.5'
req=requests.get(url)

req возвращает <Response [403]>

Python-запросов. 403 Запрещено предполагает наличие проблемы с агентом пользователя, но я не могу найти ее в своем экземпляре.

Есть ли какие-либо предложения

Answer 1

В таком случае, пожалуйста, используйте заголовки, которые включают user-agent

from bs4 import BeautifulSoup
import requests


url = 'https://www.onthemarket.com/for-sale/2-bed-flats-apartments/shortlands-station/?max-bedrooms=&radius=0.5'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36',
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
}

html_page = requests.get(url, headers=headers).text
soup = BeautifulSoup(html_page, "html.parser")

print(soup.text)