Есть ли дополнительная ценность для регистрации данных JSON в Elasticsearch через Logstash?

Question

Я пересматриваю свою стратегию ведения журналов (журналы из ОС и приложений, которые регистрируются в системном журнале, и из моих собственных приложений, где я могу свободно решать, что и где регистрировать).Не имея большого опыта работы с Logstash, мне было интересно, есть ли дополнительная ценность для регистрации данных JSON через него (в отличие от прямой отправки их в Elasticsearch).

Единственное преимущество, которое я могу придумать, - это регистрацияможет быть последовательно stdout (а затем приниматься syslog) и последовательно отправляться в Logstash (как syslog) для анализа там (Logstash будет знать, что данные из приложения myapp.py отправляют в сыром видеJSON, например).

Есть ли другие преимущества использования Logstash в качестве промежуточного звена? (в этом контексте аспекты безопасности не важны).

Answer 1

Существует несколько преимуществ использования Logstash, даже если ваши данные уже являются объектом JSON.

Например:

• Сжатие HTTP : Когда logstash выводит наasticsearch, у вас есть возможность использовать http-сжатие, что значительно уменьшает размер запросов и использование полосы пропускания.
• Постоянная очередь : Logstash позволяет вам иметь постоянную очередь в памяти или на диске для сохранения событий, когда по какой-либо причине он не может соединиться сasticsearch.
• Манипулирование данными : вы можете использовать фильтры для изменения и обогащения ваших данных, например, вы можете удалять и добавлять поля, изменять названия полей, использовать геоип-фильтр для поля IP и т. Д.