Apache Kafka Master Slave Выборы - PullRequest
       3

Apache Kafka Master Slave Выборы

0 голосов
/ 08 апреля 2019

Допустим, у нас есть ведущий и ведомый потребители для темы с одним разделом. Сначала ведущий получает сообщения из темы, а ведомый остается бездействующим. Если мастер отказывает, подчиненный берет на себя и начинает потреблять сообщения. И снова мастер ожил. Уилл мастер может снова начинает потреблять сообщения и заставляет раба бездействовать. Если да, то как этого добиться?

1 Ответ

0 голосов
/ 09 апреля 2019

Не существует понятия master и slave с потребителями в Кафке. Потребители являются частью группы потребителей, определенной потребителем group.id. Для n разделов максимальное количество активных потребителей в группе потребителей составляет n. Вы можете иметь больше, но они будут простаивать.

Например, представьте тему с 6 разделами. Если у вас есть 6 потребители в группе потребителей, каждый потребитель будет читать от 1 раздел. Если у вас 12, шесть потребителей будут бездействовать, пока остальные шесть потребляют от 1 раздела. Если у вас есть 3 потребителя, каждый потребитель будет читать с 2 разделов.

В вашем случае, для темы с разделом 1 , только 1 потребитель для каждой группы потребителей может активно потреблять одновременно. Если в вашей группе потребителей есть 2 потребителей, то consumer-1 будет принимать все сообщения из одного раздела. Если этот потребитель отказывает, consumer-2 начнет потреблять с последним известным смещением consumer-1. Если consumer-1 вернется в оперативный режим, он будет бездействовать, пока consumer-2 не выйдет из строя Ко всем потребителям относятся одинаково.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...