Каков максимальный лимит для получения атрибутов определенного URL на веб-сайте

Question

У меня от 5 до 6 тыс. URL-адресов в листе Excel, и мне нужно создать сборщик мусора в Python с пакетом Beautiful soup, извлекая каждый URL-адрес в Excel и очищая необходимые атрибуты в этом конкретном URL-адресе, и мне нужно выполнить цикл длявсе 5k URL.

Возможно ли сделать это одним выстрелом?

Могут ли сайты блокировать нас из-за больших объемов?Любой другой оптимальный способ сделать то же самое?

Просьба предложить по этому поводу!

Answer 1

Вы можете рассмотреть различные способы:

1. Периодически отправлять запрос с определенным интервалом, например, 10 раз каждые 5 секунд.

2. Использованиедругой IP-прокси, поэтому серверу сложно определить, поступил ли запрос от одного и того же клиента.