Как просмотреть циклические результаты json и сохранить текст статьи для анализа настроений / NLP?

Question

Это слишком просто для ответа?

Я пытаюсь собрать набор статей для анализа настроений с помощью API webhose.io.API возвращает 100 статей за раз и включает метод перехода к следующему набору результатов.Я, будучи относительно новым программистом, испытываю проблемы с получением всех статей.

Я начал с кода, который webhose.io предоставляет на своем python github.https://github.com/Webhose/webhoseio-python

Я пробовал несколько методов, но ни один из них не дал мне того, чего я хочу.Ниже пара вещей, которые я попробовал метод.Я уверен, что пропускаю что-то очень простое.

import webhoseio
webhoseio.config(token="my_token")
query_params = {
    "q": "topic language:english site_type:blogs domain_rank:<1000",
    "ts": "1553562010902",
    "sort": "crawled"
}

output = webhoseio.query("filterWebContent", query_params)

articles = []
for post in output['posts']:
    articles.append(post['text'])

# alternatively I have tried
output = []
while True:
    temp = webhoseio.get_next()
    output = output + temp['posts']
    if temp['moreResultsAvailable'] <= 0:
        break

# this call the next set of results
webhoseio.get_next()

Как я упоминал в начале, я пытаюсь получить первые 100 полученных результатов, но исходный код и сохранить его, а затем перейти к следующим 100результаты и добавьте их к предыдущим 100 и так далее, и так далее, пока не останется ни одной статьи.