API пользовательского поиска Google (CSE) в Python для запроса 24 000 запросов с несколькими ключевыми словами запроса в текстовом файле. - PullRequest
0 голосов
/ 21 мая 2018

Во-первых, я буду вечно благодарен всем, кто может оказать мне любую помощь в этом.Я пытаюсь запросить API пользовательского поиска Google для всей сети относительно сложным способом с Python.Я успешно запросил API для запросов по одной фразе, и я понимаю, как изменить домен, язык и т. Д.

Но я хочу выполнить поиск;

Скандал PepsiCo, возвращающий 10 страниц.результатов для google.de domain

Затем

PepsiCo скандал, возвращающий 10 страниц результатов, для google.co.uk domain

Скандал PepsiCo, возвращающий 10 страниц результатов, для google.com domain

И так далее, охватывающий все 30 доменов страны

Затем второй поисковый запрос,десять страниц результатов и тридцать разных страновых доменов.

скандал с Samsung, возвращающий 10 страниц результатов, для google.de домен

затем

Скандал Samsung, возвращающий 10 страниц результатов, для google.co.uk domain

Скандал Samsung, возвращающий 10 страниц результатов, для google.com domain

И так, охватывая все 30 страновых доменов.

У меня есть 80 сфразы earch Я хочу пройти через этот цикл, но я не уверен, как этого добиться.Я довольно новичок в Python, я понимаю некоторые концепции, но мне не удалось реализовать их в сценарии, который подходит для этого варианта использования.Опять же, любая помощь будет высоко ценится.

Условия поиска - 80
Домены страны Google - 30
Страницы результатов на запрос - 10
Всего запросов - 24 000

Я знаю, что мне придется заплатить, чтобы выполнить столько запросов API.Это единственный поиск.Еще раз спасибо!Ниже приведен основной код, который я не добавил ни в одном из бессмысленного кода, над которым я экспериментировал, только усложнил бы проблему!

import pprint
from googleapiclient.discovery import build

def main():

    service = build("customsearch", "v1",
        developerKey="key")

    res = service.cse().list(

        q='Pepsico + Scandal',

        cx='search engine ID',

        cr="countryUK",

        lr="lang_en"

    ).execute()

pprint.pprint(res)

if __name__ == '__main__':
    main()
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...