Как извлечь поля из существующих журналов (беглый бит в ECS)

Question

Я настроил Fluent-бит в моем кластере ECS. Я вижу журналы в Кибане. Но все данные журнала отправляются в одно поле «Журнал». Как я могу извлечь каждое поле в отдельное поле. В этом вопросе уже есть решение для fluentd.

Но как мне добиться того же с помощью fluent-bit?

В Kuberntetes есть решение с fluent-bit: https://docs.fluentbit.io/manual/filter/kubernetes

Как мне добиться того же в ECS?

Answer 1

Как правило, свободный поток отправляет точно файл журнала докера, который принимает от /var/lib/docker/containers/*/*.log Вы можете просмотреть этот путь на своем компьютере и увидеть, что он содержит строки JSON с точно двумя полями, которые вы упомянули.

Отсюда у вас естьВ числе способов я найду два, которые мне хорошо известны:

1. Использование logstash :

   Вы должны хорошо знать структуру журнала. Это поможет вам создать правильный конвейер фильтров для поля журнала разбора. Обычно люди используют плагины фильтра для этого. Если вы добавите примеры журналов, я смогу создать пример фильтра, подобного this

2. Используйте Узел захвата эластичного поиска .

   Вы должны хорошо знать структуру журнала. Для возможности легко создать конвейер процессоров для поля журнала разбора. Еще один раз, конкретные примеры журналов помогают нам помочь вам.

Наиболее часто используемый фильтр / процессор - это grok filter / processor . Этот инструмент имеет множество опций для разбора структурированного текста из любого журнала.