Группа потребителей Kafka - Нет раздела - Нет репликации - PullRequest
Новая
       10

Группа потребителей Kafka - Нет раздела - Нет репликации

0 голосов
/ 21 декабря 2018

Попытка понять взаимосвязь между фактором репликации и группой потребителей.Пример: Количество разделов = 2 Количество репликаций = 3 Количество потребителей в группе потребителей = 4.В этом случае

  1. Сколько получателей получит сообщение?
  2. Как Эта репликация повлияет на число получателей получателей.

Ответы [ 2 ]

0 голосов
/ 22 декабря 2018

Чтобы дать некоторые дополнительные сведения о коэффициенте репликации , он не имеет никакого отношения к числу потребителей, получающих сообщения из этой темы.Репликация служит только одной основной цели - Высокая доступность .Итак, предположим, у вас есть 3 брокера в кластере, и для темы my-topic вы установили коэффициент репликации равным 2. Теперь, если в какой-то момент не более одного брокера выйдет из строя,с вами все будет в порядке, поскольку сообщения реплицируются в другом посреднике по этой теме.

0 голосов
/ 21 декабря 2018

  • По первому вопросу, поскольку в вашем примере два раздела, только 2 из 4 потребителей фактически получат данные.Другим двум потребителям не будут назначены какие-либо разделы, потому что для этой группы потребителей не осталось никаких разделов .Если бы у вас была другая группа потребителей, этим потребителям все равно будут назначаться разделы.

  • Кроме того, в этом случае вы упоминаете, что поступает только одно сообщение.В зависимости от того, к какому разделу он назначен, в этот раздел будет отправлено только сообщение.Таким образом, в этом случае только один из четырех потребителей получит сообщение, тот, которому был назначен этот раздел.

  • Что касается вашего второго вопроса,Конфигурация коэффициента репликации в Kafka не влияет на количество сообщений, которые получают потребители.Для потребителей и производителей репликация - это внутренняя деталь кластера kafka , о которой им не нужно беспокоиться.Пока они производят / потребляют к / от лидера раздела, это все, что им нужно знать.У одной темы может быть коэффициент репликации 2, а у другой - коэффициент репликации 10, и оба они будут вести себя одинаково по отношению к производителям и потребителям.

В официальной документации Kafka есть еще несколько деталей: https://kafka.apache.org/documentation/#theconsumer

...