Можно ли читать / анализировать индексный файлasticsearch напрямую? - PullRequest
0 голосов
/ 09 апреля 2020

Проблема заключается в том, что мы столкнулись со сценарием, в котором мы хотим напрямую считывать / загружать все данные файла индекса es в память, а не использовать метод запроса с прокруткой в ​​es api.

Причина, по которой мы это делаем, заключается в том, что, таким образом, это не замедлит производительность нашего экземпляра es, который используется другими приложениями. Это очень важно для нас.

После загрузки индексных данных в память мы можем анализировать и передавать их в другие приложения для работы с большими данными, такие как kafka, непосредственно мигая.

1 Ответ

0 голосов
/ 09 апреля 2020

Если у вас есть более 10000 записей для чтения, лучше всего использовать Scroll API. Вы можете использовать все данные, используя этот API, и хранить все в памяти, если оно подходит.

Мне любопытно, хотя

это не снизит производительность нашего экземпляра es, который использует другими приложениями.

Почему вы думаете, что использование стандартного API будет медленным?

...