Вы должны написать свою собственную конфигурацию конвейера logstash.На основе того, как читать входные данные, где выводить данные.Кибана - это инструмент визуализации.Данные обычно попадают в ElasticSearch, а затем просматриваются на панели управления Kibana.Конфигурация конвейера считывается logstash, как только он вылетает.Пример конфигурации конвейера, который считывает данные csv из раздела kafka и передает их в ES, приведен ниже.
input {
kafka{
id => "test_id"
group_id => "test-consumer-group"
topics => ["test_metrics"]
bootstrap_servers => "kafka:9092"
consumer_threads => 1
codec => line
}
}
filter {
csv {
separator => ","
columns => ["timestamp","field1", "field2"]
}
}
output {
elasticsearch {
hosts => [ "elasticsearch:9200" ]
index => "_my_metrics"
}
}