отправка другого вывода с использованием одного и того же файла logstash

Question

Мне нужен мой файл conf logstash для отправки сообщения в тему kafka, чтобы указать, что обработанный документ был отправлен вasticsearch.У меня есть файл logstash, готовый структурировать данные для отправки в ElasticSearch, но мне нужно отправить сообщение «да» или «нет» в тему kafka через тот же файл logstash.

Answer 1

Вы можете использовать несколько выходов, как

output 
    { 
        #output to console
        stdout { 
            codec => rubydebug 
               } 

        #output to elasticsearch    
        elasticsearch {
            hosts => [ "192.168.1.245:9201" ]
                      }

        #output to kafka          
        kafka {
            codec => json
            topic_id => "mytopic"
              }   

    }

Answer 2

Сначала вам нужно указать значение да / нет в поле, давайте назовем его значением.

Затем добавим вывод kafka с простым кодеком, использующим опцию format для добавления значения yes / no:

output {

  #rest of your output configuration

  kafka {
    ...
    codec => plain {format => "%{[value]}"}
  }
}