Распределенная Kafka Connect с несколькими коннекторами и одной темой

Question

Каково поведение Offset Management кластера Kafka Connect в распределенном режиме, в котором запущено несколько коннекторов и прослушивается один и тот же набор тем (или одной темы)?

Таким образом, в распределенном режиме Kafka Connect будет хранить информацию о смещениях в Kafka, это смещение будет считываться и подтверждаться работниками в кластере. Что произойдет, если в этом кластере Kafka Connect будет запущено несколько коннекторов, которые прослушивают одну и ту же тему? Являются ли смещения раздела одинаковыми для всех соединителей, или у каждого соединителя есть разное смещение в разделе?

Answer 1

За кулисами у коннекторов раковин есть потребители, принадлежащие к группе потребителей (обычно с group-id="connect-connectorName"). Насколько я знаю, у вас не может быть двух коннекторов приемника в одной и той же группе потребителей (в любом случае нет смысла иметь два коннектора в одной и той же группе потребителей - вы можете просто увеличить количество задач, если хотите). Следовательно, в вашем случае использования, когда приходит сообщение, оно будет обрабатываться обоими соединителями, и два отдельных смещения будут сохраняться в теме __consumer_offsets (по одному на соединитель / потребительскую группу).