Какой хороший период ожидания при выполнении массовых поисков в Google, чтобы предотвратить блокировку IP? - PullRequest
0 голосов
/ 11 октября 2019

Я использую пакеты Python googlesearch, sleep, urlib для автоматизации некоторых поисков в Google. некоторые сведения, я подаю заявку на стажировку, и у меня есть огромный список, для которого я хочу найти сайт компании. Я выполняю поиск по этой строке

searchResults = search('company internship 2020', stop=3)

searchResults - это список из трех первых URL-адресов, которые появляются при поиске в Google «Интернатура компании 2020». Я хочу установить тайм-аут между каждым вызовом search (), подобный этому

searchResults = search('company internship 2020', stop=3)

time.sleep(1)

searchResults = search('company internship 2020', stop=3)

такЯ не блокируюсь Google, делая сразу несколько запросов - есть ли время задержки, которое не заблокирует меня, но не слишком ли медленно, чтобы мой скрипт запускался> 5 минут? У меня около 120 компаний

...