Меньше разделов, чем потребителей в Кафке, как оптимизировать других потребителей этой группы потребителей

Question

Давайте предположим, что у меня есть четыре раздела и группа потребителей с двадцатью потребителями. Таким образом, только четыре потребителя будут работать, а шестнадцать будут в режиме голодания. Как оптимизировать эти шестнадцать других потребителей, чтобы каждый из них работал, или как мы можем оптимизировать эту ситуацию?

Answer 1

Это желаемое поведение. Потребители Kafka гарантируют, что каждая запись в данном разделе будет использоваться в порядке; если бы раздел имел более одного потребителя для данной группы, это больше не удерживалось бы.

Кроме того, группы потребителей могут следить за их продвижением через любой данный раздел в топи c. Если бы конкурировали несколько потребителей в одной и той же группе, запись смещения стала бы бессмысленной.

Я думаю, вы захотите определить размер групп потребителей, когда вы раскручиваете узлы вашего приложения, но помните, что дополнительные потребители в группа также добавит устойчивость (возможно, немного больше, чем вы рассчитывали в этом случае!)