Как я могу узнать, блокирует ли мой сайт мой код

Question

Я изучаю очистку веб-страниц и написал некоторый код, который очищает информацию из autotrader.co.uk с использованием Python и Beautiful Soup 4. Иногда код останавливается, а затем вылетает. Сообщение об ошибке относится к пустому списку, который должен быть заполнен.

После сбоя я пытаюсь вручную зайти на сайт в моем браузере, и страница никогда не открывается. Если я попробую позже, он откроется нормально.

Так что я предполагаю, что веб-сайту не нравится, что я слишком быстро к нему обращаюсь, и что он временно блокирует меня или что-то в этом роде.

Мой вопрос: есть ли способ, которым я могу окончательно проверить, является ли проблема веб-сайтом, блокирующим мои запросы? Кроме того, есть ли способ, который может обойти эту проблему? Возможно, введя задержку между запросами?

Answer 1

Вы можете посмотреть ответ, который получите:

import requests

url = 'https://www.autotrader.co.uk/'

response=requests.get(url)

print (response)

Выход:

<Response [200]>

Посмотрите на кодированный ответ здесь для идеи