вращающийся прокси в скребках - PullRequest
0 голосов
/ 22 ноября 2018

Я перебираю Google.

У меня есть код ниже, который ищет запрос в Google, а затем распечатывает количество показов в левом верхнем углу страницы.

Я хотел бынравится вращать прокси, чтобы избежать блокировки.Я видел разные коды о том, как это сделать, но я действительно не мог понять их.Я буду признателен за любую помощь.

PS: я знаю, что Google понимает скребки и блокирует их даже путем вращения прокси, но это только пример кода.Я хотел бы научиться на этом примере, чтобы попробовать его для другого кода позже.спасибо.

address = 'http://www.google.com/search?q='
newword = address + word
page = requests.get(newword)
soup = BeautifulSoup(page.content, 'html.parser')
phrase_extract = soup.find(id="resultStats")
text = phrase_extract.text
idf_num += 1
...