Вставьте файл JSON в Elasticsearch

Question

У меня есть сценарий Python, который время от времени создает файл JSON (без определенного расписания). Я хочу сохранить этот файл JSON вasticsearch при его создании. Какой лучший инструмент в эластичном стеке для этого? Это можно сделать с помощью Logstash или Beats? Также у меня есть другой сценарий, который время от времени создает пользовательский файл .klm (опять же без определенного расписания). Я хочу вставить имя файла, как только он будет создан, и снова, можно ли это сделать с помощью Logstash или Beats, или любым другим предложение, где я могу начать?!

Я использую Elastic Stack версии 6.0.2

Answer 1

Вы можете использовать logstash для ввода файлов для чтения файлов и для вывода asticsearch для записи содержимого файла вasticsearch.Для файла .klm, входной файл в logstash добавляет поле path, содержащее путь к файлу, см. Этот ответ о том, как извлечь имя файла из пути.

Если вы никогда не использовали logstash, запустите здесь .

Я не могу комментировать, если это возможно сделать с битами.

Answer 2

Вам необходимо Индексировать документ Json с использованием клиента Python

Я также рекомендую прочитать документы ES, чтобы вы понимали, как ES обрабатывает индексы и псевдонимы.