Перефразировка кафки

Question

Является ли перебалансировка разделов обычным делом, когда у нас есть несколько разделов в темах kafka?

Это не обязательно означает, что у нас есть задержка или проблема в нашем приложении?

Я вижу журналы отмененных и переназначенных разделов.

Answer 1

Вы пользуетесь группами потребителей?Обычно сообщение «разделы были отозваны и переназначены» - видно в следующих 2 сценариях.

Допустим, у вас есть группа потребителей из 3 потребителей, и каждый из них использует \ обрабатывает 1 раздел брокера Kafka по отдельности.

Сценарий 1-

Предположим, что потребитель 3 по какой-то причине отключается.

Впоследствии kafka временно отменяет назначение раздела третьему потребителю (до его запуска и запуска) и переназначает раздел для потребителя 1 или 2.

В сценарии такого типамы видим такие сообщения.

Сценарий - 2

Кроме того, когда потребитель 3 будет работать позже, он будет переназначен для использования разделом для обработки.И вы снова увидите то же сообщение.

Answer 2

Что касается вашего вопроса о том, что перебалансировка является обычным делом или нет.

Если приложение видит слишком много перекомпоновок, то, безусловно, оно говорит, что что-то не так с приложением или что-то не так на стороне брокера.Так что в данном случае это не обычное явление.

Хотя это совершенно обычное явление, когда вы видите это событие реже, как при запуске приложения, или между любыми сбоями между потребителями.

Значительный балл:

• Временное окно перебалансировки составляет нет данных для потребителей, поскольку они не смогут читать какие-либо сообщения до завершения перебалансировки, что может бытьнанесение ущерба вашему общему счету пут, если происходит слишком большой баланс.

Answer 3

В общем, да, изменение баланса означало бы, что у вас может быть нестабильный / неактивный клиент, брокеры «нездоровы» по разным причинам или из-за других проблем на уровне сети / ОС ... Когда происходит перебалансировка, нет потребление происходит, поэтому вводится отставание.

Чтобы лучше понять кластер Kafka и клиентов, рекомендуется просмотреть метрики JMX в дополнение к другим метрикам системного уровня, таким как сеть, ЦП, память, диск и т. Д. а не только журналы процесса Kafka