Пример потребительской группы Apache Kafka в кластере

Question

Я новичок в Kafka, я внедрил кластер KAFKA на 3 серверах, и на 3 серверах я использую потребителей, каждый сервер имеет 3 потребителя, т.е.3x3 = 9 Потребителей.

Мой вопрос: - 1. Когда я даю один и тот же идентификатор группы по кластеру для одной и той же темы, я не получаю повторяющихся сообщений, но когда я даю 3 разных идентификатора группы потребителей по всему кластеру дляВ той же теме я получаю дубликаты сообщений ровно 3?

Пожалуйста, помогите, как использовать группы потребителей?

Answer 1

Вся причина наличия GroupId заключается в том, что потребители в этой группе будут работать вместе, то есть не использовать одни и те же сообщения.

Наличие группы потребителей означает, что вы можете разделить работу по потреблению между несколькими потребителями = увеличение производительности.

Без идентификатора группы потребители действуют как совершенно отдельные потребители, поэтому каждый из них читает всесообщения.

Answer 2

Я думаю, что следующая аналогия может помочь понять концепцию.Представьте, что в вашу фирму вступает новый сотрудник.Итак, у вас есть тема employees.Теперь этот сотрудник должен посетить ИТ-отдел, чтобы получить все оборудование (компьютер и т. Д.), Он должен встретиться с отделом безопасности, чтобы получить ярлык своего сотрудника, и пройти инструктаж, он должен встретиться с кем-то из отдела кадров, чтобы услышать о надлежащем поведении иполитика компании и т. д.

В настоящее время в ИТ-отделе работают 5 человек (5 потребителей), в отделе кадров - 4 работника (4 потребителя), а сотрудник службы безопасности - шоу одного человека (одиночный потребитель).Таким образом, у вас есть 3 группы потребителей, каждая из которых должна обрабатывать всех новых сотрудников, поэтому каждый сотрудник обрабатывается 3 раза.

Теперь представляем концепцию разделения - вы помещаете сотрудников в строки (разделы).Каждый раздел обрабатывается одним потребителем из каждой группы потребителей (это ограничение kafka).Скажем, у вас есть 20 линий сотрудников.Каждый айтишник обрабатывает 4 строки, каждый сотрудник отдела кадров обрабатывает 5 строк, а плохой сотрудник службы безопасности обрабатывает все 20 строк.

надеюсь, это прояснит немного ...