Я использую Logstash для разбора и объединения журнала подключений nginx. (около 3000 событий / сек). Я считаю, что агрегация является узким местом, и то, что произошло, - мой Logstash имеет более медленную скорость обработки журнала, чем скорость записи журнала. Таким образом, между отметкой времени каждого события, записываемого в файл, и @timestamp, добавляемым Logstash к событию, растет разрыв. В конце концов, Logstash собирается отбросить некоторые события.
Но я проверил использование хост-машины, средняя загрузка процессора составляет всего около 50%, и память тоже не проблема. Есть ли какие-либо другие вещи, вызывающие это узкое место для Logstash?
Кроме того, я не увидел ничего плохого в журнале Logstash. Причина, по которой я знаю, что это бросит события, из Кибаны.
Заранее спасибо!