Сброс эластичных данных в CSV или в любой NOSQL через Python

Question

Как мы знаем, мы не можем получить более 10000 строк в python из упругого поиска из-за ошибки соединения. Мне нужны данные за два часа от моего эластичного кластера и каждые 5 минут, у меня около 10000 наблюдений.

1.) Есть ли способ, если я могу просто сбросить данные из упругого поиска непосредственно в CSV или в некоторую базу данных Nosql с более чем 10000 счетчиком.

Я пишу свой код на Python.

У меня эластичная поисковая версия 5

Answer 1

Попробуйте следующий код для запроса прокрутки

from elasticsearch import Elasticsearch, helpers

    es = Elasticsearch()
    es_index = "your_index_name"
    documento = "your_doc_type"


    body = {
            "query": {
            "term" : { "user" : user } 
                 }
            }

    res = helpers.scan(
                    client = es,
                    scroll = '2m',
                    query = body, 
                    index = es_index)