Ошибка: «В буферном пространстве слишком много данных» - PullRequest
Новая
       50

Ошибка: «В буферном пространстве слишком много данных»

1 голос
/ 20 февраля 2020

Я использую fluentd в своем кластере kubernetes, чтобы собирать логи из стручков и отправлять их вasticseach. Раз в день или два пользователь программы Fluetnd получает сообщение об ошибке: 

[warn]: #0 emit transaction failed: error_class=Fluent::Plugin::Buffer::BufferOverflowError error=“buffer space has too many data” location=“/fluentd/vendor/bundle/ruby/2.6.0/gems/fluentd-1.7.4/lib/fluent/plugin/buffer.rb:265:in `write’”

И программа Fluentd прекращает отправку журналов, пока я не сброслю модуль Fluentd.

Как можно избежать этой ошибки?

Может быть, мне нужно что-то изменить в моей конфигурации? 

<match filter.Logs.**.System**>
  @type elasticsearch
  host "#{ENV['FLUENT_ELASTICSEARCH_HOST']}"
  port "#{ENV['FLUENT_ELASTICSEARCH_PORT']}"
  scheme "#{ENV['FLUENT_ELASTICSEARCH_SCHEME']}"
  user "#{ENV['FLUENT_ELASTICSEARCH_USER']}"
  password "#{ENV['FLUENT_ELASTICSEARCH_PASSWORD']}"

  logstash_format true
  logstash_prefix system
  type_name systemlog
  time_key_format %Y-%m-%dT%H:%M:%S.%NZ
  time_key time
  log_es_400_reason true
  <buffer>
    flush_thread_count "#{ENV['FLUENT_ELASTICSEARCH_BUFFER_FLUSH_THREAD_COUNT'] || '8'}"
    flush_interval "#{ENV['FLUENT_ELASTICSEARCH_BUFFER_FLUSH_INTERVAL'] || '5s'}"
    chunk_limit_size "#{ENV['FLUENT_ELASTICSEARCH_BUFFER_CHUNK_LIMIT_SIZE'] || '8M'}"
    queue_limit_length "#{ENV['FLUENT_ELASTICSEARCH_BUFFER_QUEUE_LIMIT_LENGTH'] || '32'}"
    retry_max_interval "#{ENV['FLUENT_ELASTICSEARCH_BUFFER_RETRY_MAX_INTERVAL'] || '30'}"
    retry_forever true
  </buffer>
</match>

1 Ответ

1 голос
/ 22 февраля 2020

Тип буфера по умолчанию - проверка памяти: https://github.com/uken/fluent-plugin-elasticsearch/blob/master/lib/fluent/plugin/out_elasticsearch.rb#L63

У этого типа буфера есть два недостатка - если модуль или контейнеры перезапускаются, журналы в буфере будут потерял. - если вся оперативная память, выделенная для fluentd, используется, журналы больше не будут отправляться

Попробуйте использовать файловые буферы с приведенными ниже конфигурациями 

<buffer>
    @type file
    path /fluentd/log/elastic-buffer
    flush_thread_count 8
    flush_interval 1s
    chunk_limit_size 32M
    queue_limit_length 4
    flush_mode interval
    retry_max_interval 30
    retry_forever true
  </buffer>
...