Docker-контейнер Logstash, заполняющий пространство на корневом диске в папке overley2 - PullRequest
Новая
       8

Docker-контейнер Logstash, заполняющий пространство на корневом диске в папке overley2

0 голосов
/ 28 ноября 2018

Я просто отправляю этот вопрос и отвечаю, потому что нигде не могу найти никакой помощи.Мне пришлось устранить неполадки, и я нашел решение, поэтому я решил поделиться своими выводами, которые могут помочь другим людям, столкнувшимся с подобной проблемой.

Проблема: У меня возникла странная проблема во время работы моего ELK (Elasticserch, Logstash, Kibana) stack используя докер-контейнеры.Этот стек ELK работал нормально с одним или двумя агентами отправки журнала.Но когда я загружаю стек ELK и указываю почти 10-12 агентов журналов, которые отправили почти 17 миллионов журналов на сервер, а затем я обнаруживаю, что корневой диск используется на 100%, хотя я уже сопоставил тома для logstash в docker-составьте файл, как показано ниже. 

volumes:
  - /example/app-elk/logstash/config:/etc/logstash/conf.d:ro
  - /example/app-elk/logstash/logstash.yml:/etc/logstash/logstash.yml:rw
  - /example/app-elk/logstash/pipeline:/usr/share/logstash/pipeline

Из-за этого Logstash находился в состоянии не отвечает, и я получал ошибку в агентах отправки журнала TCP Connection Timeout

Я использовал filebeat в качестве агента отправки журнала.

1 Ответ

0 голосов
/ 28 ноября 2018

В моем исследовании я обнаружил, что в logstash контейнере /usr/share/logstash/core есть папка, имеющая самый большой размер и вызывающая заполнение диска.

Я также сопоставил этот том в своих сопоставлениях томов для logstash,Конфигурация выглядит следующим образом: 

volumes:
  - /example/app-elk/logstash/config:/etc/logstash/conf.d:ro
  - /example/app-elk/logstash/logstash.yml:/etc/logstash/logstash.yml:rw
  - /example/app-elk/logstash/pipeline:/usr/share/logstash/pipeline
  - /example/app-elk/logstash/core:/usr/share/logstash/core

После применения этого изменения мой корневой диск используется только на 17-20%.

...