URL-запрос с различными прокси в Python - PullRequest
0 голосов
/ 12 июля 2011

Я пытаюсь получить некоторые страницы, которые являются результатами поиска Google и кэшированы. На самом деле у меня есть две проблемы на данный момент. Обычно я могу загрузить первые десять результатов, но не могу заставить его работать, чтобы перейти к «следующим» 10 страницам. Я пытался использовать регулярные выражения, чтобы найти следующий элемент управления на странице и перейти оттуда, я не мог заставить его работать. Но моя другая проблема, которая гораздо важнее, заключается в том, что мой IP-адрес заблокирован Google, что я больше не могу просматривать результаты в кэше. Поэтому мне приходит в голову одно решение - использовать прокси для выполнения URL-запросов и обновлять его через определенные промежутки времени. Но я не знаю, как сделать эту работу. Я пытался найти в Интернете решения, но не смог найти хорошее. Я был бы очень рад, если бы вы могли дать мне несколько советов.

1 Ответ

1 голос
/ 12 июля 2011

5-й пример ?Или, может быть, 3-й пример ?

...