Кафка потребительских групп поведенческая неодинаково - PullRequest
0 голосов
/ 08 января 2019

Пытается понять потребительскую группу Behavioral в Кафке. Пример 4 разделов доступны. В потребительской части Consumer group держит 4 потребителя В этом сценарии среди 4 потребителей в группе потребителей только один потребитель всегда получает сообщение. Другие бездействуют всегда. Каковы возможные причины этого?

Все ли разделы содержат одно и то же сообщение? или же это все разделы имеют одинаковое сообщение? или же Можем ли мы считать, что разделы распределены неравномерно?

1 Ответ

0 голосов
/ 08 января 2019

Остальные бездействуют всегда. Каковы возможные причины этого?

По умолчанию это невозможно для 4 разделов и 4 потребителей. Вы должны будете вручную назначить всех 4 потребителей в группе к одному разделу темы. Или в разделах, для которых назначены эти потребители, просто нет данных, поэтому они «кажутся» простаивающими, но все еще опрашивают 0 записей.

Все ли разделы содержат одно и то же сообщение?

Сообщение содержит ключ и значение. Если ваш ключ пуст, то одно и то же значение сообщения может существовать в нескольких разделах. Если у вас ненулевые ключи, то одно и то же сообщение (один и тот же ключ) не может быть в разных разделах с DefaultPartitioner.

или это все разделы имеют одинаковое сообщение?

Нет. Прежде всего потому, что даже только временные метки и смещения не совпадают более чем в одном разделе

можем ли мы считать, что разделы распределены неравномерно?

Если у вас есть собственный разделитель или ненулевые ключи, то можно создать «горячие» / «толстые» разделы, в которых он будет разбалансирован от других. С нулевыми ключами, производитель равномерно обрабатывается по всем разделам.

...