Есть ли способ узнать, растет ли нагрузка на стек Elastic?

Question

Я только начал изучать стек Elastic, и мне уже нужно диагностировать производственную проблему. Время от времени в нашей настройке возникают проблемы с переносом сообщений из ActiveMq в Elastic Search с использованием Logstash. Задержка может составлять 1-3 часа.

Одно подозрение, что, возможно, нагрузка возросла после последней версии нашего приложения. Есть ли способ узнать общий размер хранимых сообщений, сгруппированных по месяцам? Не только их количество, но и общий их размер. Возможно, размер документов увеличился, а не количество документов.

Answer 1

Начните с настройки экземпляра производственного мониторинга для предоставления подробной статистики по кластеру: https://www.elastic.co/guide/en/elastic-stack-overview/7.1/monitoring-production.html

Это позволит вам получить такие показатели, как количество сообщений в месяц, средний размер документа, производительность индекса, загрузка буфера и т. Д. Немного больше подробностей о внутренней производительности доступно с https://visualvm.github.io/

Собирая эту штуку вместе, вы также можете настроить производительность Logstash, например,

Параметры настройки Tune Logstash:

Начните с увеличения числа рабочих конвейера с помощью флага -w. Это увеличит количество потоков, доступных для фильтров и выходов. При необходимости можно масштабировать до нескольких ядер ЦП, поскольку потоки могут простаивать при вводе / выводе.

Вы также можете настроить размер выходного пакета. Для многих выходов, таких как вывод Elasticsearch, этот параметр будет соответствовать размеру операций ввода-вывода. В случае вывода Elasticsearch этот параметр соответствует размеру пакета.

С https://www.elastic.co/guide/en/logstash/current/performance-troubleshooting.html