Как прочитать gzipped json для ввода Logstash?

Question

для JSON,

Я мог бы использовать

input {
  tcp {
    codec => json
  }
}

для сжатого содержимого,

Я мог бы использовать

input {
  tcp {
    codec => gzip_lines
  }
}

Как я могу прочитать введенные данные в формате json?

Мой ввод по сети, а не по файлу ...

Answer 1

вам необходимо установить плагин gzip_lines и использовать более старую версию ELASTIC Stack.

команда bin / logstash-plugin install logstash-codec-gzip_lines

см. Прикрепленный примерфайл конфигурации

input {
  file {
     type => "gzip"
     path => "/Users/sonupajai/Desktop/workspace/data/logs*.gz"
     mode => "read"
     file_completed_action => "log"
     file_completed_log_path => "/Users/sonupajai/Desktop/workspace/data/log.txt"
  }
}
filter {
    json {
        source => "message"
        target => "message"
    }
}

output {
    elasticsearch { 
    hosts => ["localhost:9200"]
    index => "json-log2-%{+YYYY.MM.dd}"
  }
}