Какое рекомендуемое количество потребителей на группу в Кафке? По сути, у меня есть 400 тем, которые я хочу использовать в своей группе. В своих экспериментах я заметил, что если я 1 потребитель потребителю по всем 400 темам, это работает. Но если я создаю 1 потребителя для каждой темы в одной группе потребителей, я не могу получать никаких сообщений.
EDIT:
Я обнаружил, что некоторые потребители могут получать сообщения во время цикла опроса, но не все. Я предполагаю, что они удаляются из группы потребителей из-за отсутствия сердцебиения.
Из журналов видно, что через несколько минут некоторые потребители не могут отправлять тактовые импульсы, потому что группа всегда перебалансируется:
[2019-03-08 07:42:36,769] INFO [Consumer clientId=jira_con-chow-test-69, groupId=chow] Attempt to heartbeat failed since group is rebalancing (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
[2019-03-08 07:42:39,671] DEBUG [Consumer clientId=jira_con-chow-test-69, groupId=chow] Sending Heartbeat request to coordinator mwkafka-prod-02.tbd:9092 (id: 2147483641 rack: null) (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
....
Я хочу знать практически, какое количество потребителей должно присоединиться к группе. Или я неправильно истолковываю эту проблему, и мне следует взглянуть на что-то еще.
Спасибо,
Аби