Распределенные исходные соединители Kafka с несколькими группами с одинаковыми конфигурациями

Question

У меня есть два узла соединителя Kafka, скажем Node-A и Node-B.

Я запускаю одного распределенного работника (указывающего на один и тот же кластер Kafka) в каждом узле.

Идентификатор группыи идентификатор клиента уникален для обоих распределенных работников.

Задачи коннектора успешно создаются с использованием запросов HTTP POST на обоих узлах.Задачи коннектора создают сообщения для одной и той же темы.

Примечание: Я понимаю, что распределенные рабочие должны иметь одинаковый идентификатор группы для распределения задач.Но я делаю, как упоминалось выше, для конкретного случая в качестве эксперимента.

Я использую http GET-запрос от Node-A скажем, как в http://localhost:8083/connectors

Ответ http(из Node-A) отображает соединители, созданные из обоих узлов, то есть из Node-A и Node-B, в то время как я ожидаю, что ответ должен давать только соединители, созданные из Node-A и не те, что созданы из узла B.

Я хочу знать , что распределяется между этими двумя распределенными работниками и как я могу переопределить этот общий доступ?

Answer 1

В ответе http (из Node-A) отображаются соединители, созданные из обоих узлов, то есть из Node-A и Node-B

Похоже, что обе группы используют одну и ту же конфигурациюи статусные темы.

status.storage.topic
offset.storage.topic
config.storage.topic

В соответствии с документацией рекомендуется прочитать описание настроек каждой темы и создать темы вручную

https://kafka.apache.org/documentation/#connect_running