Elasticsearch как решение для макс. 1000 файлов JSON

Question

Мое приложение должно выполнять поиск по запросу, например, запросы к файлам в каталоге.

В максимуме у меня будет только 1000 файлов json в этом каталоге.Elasticsearch становится тяжелым для этой цели.Есть ли какая-либо библиотека java, которую я могу использовать в своем приложении, которая позволяет мне индексировать файлы и предоставляет мне возможности поиска, например, средства поиска?

Заранее спасибо

Answer 1

Вы можете использовать filebeat для извлечения этих файлов и индексирования их в Elasticsearch: https://www.elastic.co/products/beats/filebeat

Он будет отправлять файл по умолчанию построчно, каждая строка как отдельный документ в Elasticsearch.

Я предлагаю вам добавить конфигурацию в filebeat, чтобы пометить / аннотировать содержимое файла информацией о файловой системе / иерархии каталогов, чтобы вы могли использовать эту информацию при запросе данных.