kafka Connect: Tasks.max больше, чем количество разделов, но статус говорит, что работает

Question

В нашей настройке у нас есть 50 задач и 40 разделов в теме. У нас есть 2 рабочих. В идеале, коннектор должен запускать только 40 задач, но мы видим, что все 50 задач имеют статус RUNNING. Как это возможно?

Answer 1

Могут быть незанятые задачи, но это не обязательно означает, что они находятся в состоянии UNASSIGNED или FAILURE. Они активны и работают как часть группы потребителей (при условии использования коннектора приемника).

Если у вас был исходный соединитель, то есть только 50 работающих потоков производителей, отправляющих данные во все 40 разделов. Не существует ограничения 1: 1 на то, сколько производителей существует для потребителей.

Добро пожаловать в PUT новую конфигурацию для разъема и установите tasks.max обратно на 40.