как исправить кафку потребительского лага в кафке 0.10.2.1

Question

Возникла проблема с отставанием потребителя кафки.Теперь мы перезапускаем потребителя кафки, чтобы уменьшить отставание.Нужна помощь для исправления.

У нас есть три брокера и 6 потребителей.

Answer 1

1. В основном производительность экземпляра брокера намного выше, чем у потребителя.Как насчет увеличения разделов темы, а также увеличения потребителей до разделов.Использование параллелизма может повысить производительность.
2. Если вы храните смещения на зоопарке, это может стать узким местом.Уменьшите коммиты смещения и используйте выделенный зоопарк, если это возможно.Лучшее решение - хранить смещения у брокеров.

Answer 2

Перезапуск потребителей вряд ли решит проблему.Я бы предложил следующую серию действий:

• Мониторинг уменьшения задержки в единицу времени (предположим, в минуту) каждым потребителем.Вы можете получить его, разделив общее уменьшение задержки на шесть.

• Если скорость уменьшения задержки все еще слишком мала, и вы хотите увеличить ее, добавьте соответствующее числопотребителей.Вы можете получить оценку числа дополнительных потребителей из предыдущего шага.

• Убедитесь, что все ваши потребители находятся в одной группе потребителей.