logstash продолжает повторять попытки бесконечно, когда не удалось загрузить в кластер Elasticsearch из-за ошибки массовой загрузки

Question

logstash продолжает повторяться бесконечно, когда не удалось загрузить в кластер Elasticsearch из-за ошибки массовой загрузки. Он застрял на этой ошибке и не обрабатывает другие журналы. Может кто-нибудь, пожалуйста, помогите мне, как решить эту проблему?

[2019-10-09T19:05:38,343] **[ERROR]** [logstash.outputs.elasticsearch][main] Encountered a retryable error. Will Retry with exponential backoff {:code=>413, :url=>"https://elasticsearch.domain:443/_bulk", :body=>"{\"Message\":\"Request size exceeded 10485760 bytes\"}"}

Answer 1

AWS ограничивает размер до 10 МБ, тогда, возможно, вам следует изменить свой вывод Confst Logstash .. flush_size на 10

vim /etc/logstash/conf.d/output
output {
    elasticsearch {
      hosts => ["XXX.XX.XX.XX"]
      index => "logstash-%{+YYYY.MM.dd}"
      flush_size => 10
      template => "/etc/logstash/template.json"
    }
}