Как визуализировать сообщение от Кафки в Кибане - PullRequest
Новая
       38

Как визуализировать сообщение от Кафки в Кибане

0 голосов
/ 27 июня 2019

Я собираю данные с Packetbeat , Metricbeat и Filebeat и отправляю их на Logstash через Kafka а затем Elasticsearch , наконец Kibana .

Когда я не использовал Кафку и Logstash. Я мог легко визуализировать в Kibana с помощью настройки панели по умолчанию и множества доступных полей. Я могу создавать инструментальные панели, отображающие данные о процессоре, оперативной памяти, дисковом пространстве.

Однако, когда я использую Kafka и Logstash, все данные сохраняются в поле message. У меня не так много полей, которые я могу использовать для визуализации в инструментальных панелях. Я думаю, что Кафка помещает все в сообщение. Я хочу визуализировать все данные системы показателей и другие.

enter image description here

enter image description here

Как использовать данные в поле message для их визуализации?

Следующая ссылка выглядит как похожий вопрос, но моя ситуация немного отличается, и она не решает мою проблему. ТАК аналогичный вопрос

Моя Logstash конфигурация: 

input {
    kafka {
            bootstrap_servers => "localhost:9092"
            topics => ["testkafka"]
            codec => json    <=  Val's answer right here.
    }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => ["testkafka"]
    codec => json

1 Ответ

1 голос
/ 27 июня 2019

Решение состоит в том, чтобы Logstash анализировал сообщения, которые он получает от Kafka, с кодеком JSON 

kafka {
        bootstrap_servers => "localhost:9092"
        topics => ["testkafka"]
        codec => json                              <-- add this line
}
...