Быстрая проблема с буферизацией - PullRequest
0 голосов
/ 12 октября 2018

Я новичок в беглом инструменте.Недавно мы внедрили свободное владение в нашем конвейере.Мы используем как пересылку, так и агрегатор, который затем отправляет данные в ElasticSearch.Проблема в том, что всякий раз, когда узел ES недоступен, переполненный буфер заполняется.Это следующая конфигурация, используемая для fluentd:

   @type file
   chunk_limit_size 32MB
   total_limit_size 64GB
   flush_interval 10s
   overflow_action throw_exception
   flush_thread_count 4
   retry_type exponential_backoff
   retry_exponential_backoff_base 2
   retry_max_interval 60

   @type memory
   chunk_limit_size 32MB
   total_limit_size 16GB
   flush_interval 10s
   overflow_action throw_exception
   flush_thread_count 4
   retry_type exponential_backoff
   retry_exponential_backoff_base 2
   retry_max_interval 60 
...