Python3 Beautifulsoup ничего не анализирует

Question

import requests
from bs4 import BeautifulSoup
url = "https://www.sahibinden.com/hyundai/"
req = requests.get(url)
context = req.content
soup = BeautifulSoup(context, "html.parser")
print(soup.prettify())

Я получаю сообщение об ошибке с кодом выше. Если я пытаюсь разобрать другой сайт, он работает, но есть проблема с sahibinden.com. Когда я запускаю программу, она ждет около 1 минуты, после чего выдает ошибку. Я пытаюсь разобрать этот сайт. Не могли бы вы помочь мне объяснить, в чем проблема?

Answer 1

Ваша проблема связана с тем, что сервер ожидает, что пользовательский агент не сможет выполнить запрос без него.

Возможно, ошибка, выдаваемая вам, является тайм-аутом?

Добавьте следующее в ваш код

headers_dict = {'User-Agent': user_agent}
req = requests.get(url, headers=headers_dict)