Ошибка при загрузке журналов вasticsearch с использованием kafka в качестве ввода для logstash - PullRequest
Новая
       8

Ошибка при загрузке журналов вasticsearch с использованием kafka в качестве ввода для logstash

0 голосов
/ 10 января 2020

Ниже мой logsta sh файл конфигурации logsta sh .conf. Lotsta sh читает журналы из Kafka topi c 'my_topi c' и выводит их в индекс эластичного поиска 'es-index'. 

input {
 kafka {
       bootstrap_servers =>"kafka1.xxx:9092,kafka2.xxx:9092,kafka3.xxx:9092"
       topics => ["my_topic"]
       codec => "json"
       group_id => "logstashgroup"
 }
}
output {
   elasticsearch {
     hosts => ["es1.myhost:9200","es2.myhost:9200","es3.myhost:9200"]
     user => "user123"
     password => "password"
     index => "es-index"
   }
}
filter {
  json {
   source => "message"
   skip_on_invalid_json => true
 }
}

Он работал хорошо в течение нескольких месяцев, но недавно он начал выдает следующие ошибки: 

[ERROR][logstash.outputs.elasticsearch] An unknown error occurred sending a bulk request to Elasticsearch. We will retry indefinitely {:error_message=>"Could not read from stream: Corrupt GZIP trailer", :error_class=>"Manticore::StreamClosedException"

и, 

[FATAL][logstash.runner          ] An unexpected error occurred! {:error=>org.apache.kafka.common.KafkaException: Received exception when fetching the next record from my_topic-1. If needed, please seek past the record to continue consumption., :backtrace=>["org.apache.kafka.clients.consumer.internals.Fetcher$PartitionRecords.fetchRecords(org/apache/kafka/clients/consumer/internals/Fetcher.java:1469)", "org.apache.kafka.clients.consumer.internals.Fetcher$PartitionRecords.access$1600(org/apache/kafka/clients/consumer/internals/Fetcher.java:1328)",

затем 

[ERROR][logstash.javapipeline    ] A plugin had an unrecoverable error. Will restart this plugin.
Plugin: <LogStash::Inputs::Kafka codec=><LogStash::Codecs::JSON id=>"json_9a7a9d96-d7be-4292-a3de-67f797d22ab5"

затем 

Error: Received exception when fetching the next record from my_topic-1. If needed, please seek past the record to continue consumption.
Exception: Java::OrgApacheKafkaCommon::KafkaException

и затем logsta sh остановки 

[ERROR][org.logstash.Logstash    ] java.lang.IllegalStateException: Logstash stopped processing because of an error: (SystemExit) exit

Я не уверен, в чем проблема. Я не мог найти что-то подходящее для решения проблемы. Любая помощь будет принята с благодарностью.

...