Как масштабировать узлы logstash?

Question

У нас есть настройка BELK, при которой один Logstash в настоящее время извлекает журналы из «kafka», и в настоящее время он отстает на миллионы.Как это можно отразить на стороне logstash?Как я могу добавить второй сервер logstash и заставить их распределить нагрузку?

Answer 1

Если вы запускаете 2-й экземпляр и он использует тот же group_id , все разделы будут равномерно распределены между 2 экземплярами logstash.

Стоит убедиться, что ваши сообщения распространяютсяравномерно среди всех разделов (т.е. ваши сообщения не помещаются в один или несколько разделов).

К вашему сведению, вы также можете настроить свой единственный экземпляр logstash, если вы этого еще не сделали.В частности, по умолчанию число пользовательских потоков равно 1, что имеет место только при наличии 1 раздела.