Во время запроса данных (веб-соскоб) с веб-сайта с Python, как избежать блокировки сервером? - PullRequest
0 голосов
/ 09 июля 2019

Я пытался использовать запросы Python и механизировать сбор информации с веб-сайта.Этот процесс требует, чтобы я опубликовал некоторую информацию, а затем получил результаты с этого сайта.Я автоматизирую этот процесс, используя цикл for в Python.Однако после ~ 500 запросов мне сказали, что я заблокирован из-за высокой частоты запросов.На каждый запрос уходит около 1 секунды.Я использовал какое-то программное обеспечение онлайн, где они без проблем запрашивают несколько данных.Может ли кто-нибудь помочь мне, как избежать этой проблемы?Спасибо!

Не знаю, как решить эту проблему.

--- Я зацикливаю этот процесс (автоматически меняя номер дела) и экспортирую данные в csv ....

После некоторых запросов мне сказали, что мой IP заблокирован.

1 Ответ

0 голосов
/ 09 июля 2019
  1. Оптимальное рандомизированное время задержки между запросами.
  2. Рандомизированные реальные пользовательские агенты для каждый запрос.
  3. Включение файлов cookie.
  4. Использование рабочего пула прокси и выбор случайного прокси для каждого запроса.
...