Python: загрузка поисковых ссылок Google, поиск по нескольким страницам / новостям

Question

Я пытаюсь скачать ссылки из поиска Google (в Python), я использую красивый суп для этого. http://www.google.ca/search?q=QUERY_HERE - это URL, с которого я получаю запросы. Я хочу получить больше ссылок, то есть со 2-й / 3-й страницы.

Как мне это сделать, и как я могу искать только с помощью поиска новостей Google?

Answer 1

Сначала узнайте Результаты на странице для вас, используя параметр Настройки поиска , найденный в правом нижнем углу страницы google.com . или проверьте ссылку ниже, если она все еще работает

https://www.google.co.in/preferences?hl=en

Тогда в запросе вы можете указать start value

https://www.google.co.in/search?q=hello&hl=en----------start=70--------.

Таким образом, если start = 0 , вы находитесь на первой странице, а затем вы можете просто изменить значение start в соответствии с вашими результатами на страницу .