Как потребитель кафки одной и той же группы делится сообщениями между ними? - PullRequest
0 голосов
/ 22 марта 2019

Скажем, есть группа потребителей.(Потребители с одинаковым идентификатором группы).

Группа Потребителей использует Тему А от Брокера.

В Теме А есть 4 раздела, и в этой группе 4 Потребителя.

Каждый потребитель использует разные разделы.(Потребитель 1 принимает сообщения в разделе 1, Потребитель 2 принимает сообщения в разделе 2 и т. Д., Потому что именно так поступает группа потребителей в kafka. Среди групп потребителей каждая имеет 1/4 темы.

Мой вопрос: Как они делятся сообщением, чтобы у них у всех была Тема А?

Как они объединяют эти биты и кусочки? И где это происходит?

Если мой компьютер (потребитель 1 группы A) потребляет тему A от брокера, а компьютер моего друга (потребитель 2 группы A) потребляет другие части той же темы, как мы объединяем сообщение в теме A?

1 Ответ

0 голосов
/ 22 марта 2019

Я подумал о термине «Потребитель» - компьютер или сервер, потребляющий тему от брокера.Вот почему я запутался с Consumer group.

Потребитель - это клиент или программа, и у меня может быть много потребителей на моем компьютере или сервере.Consumer Group означает несколько процессов-потребителей на независимой машине

Поэтому мне не нужно беспокоиться о том, что Consumer в группе делится битами сообщения, чтобы завершить тему.Раньше я думал, что каждый потребитель - это сервер или вычислительный ресурс, поэтому ему приходилось как-то общаться.Но вот как я запутался.Им не нужно общаться друг с другом по сети или им нужен пул для совместного использования их разделенных разделов.

Потребитель 1 может читать из раздела 1, Потребитель 2 может читать из раздела 2, и если Потребитель 1, 2 использует один и тот же идентификатор группы (Группа потребителей), Потребителю 1 не нужно читать из раздела 2,и Потребителю 2 не нужно читать из раздела 1. У них уже есть тема, в которой они нуждаются.Бум!

Я отправил ответ, чтобы помочь кому-то, кто думал, как я.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...