Можно ли совместно использовать конфигурацию и смещение Kafka Connect?

Question

Можно ли безопасно разделить две темы метаданных Apacke Kafka Connect, config.storage.topic и offset.storage.topic, между двумя или более отдельными кластерами Kafka Connect?

В то время как в документации говорится, что:

Это должно быть одинаковым для всех работников с одинаковым group.id.

Из документации неясно, должны ли эти темы по сути принадлежать отдельным кластерам Kafka Connect.

Вообще говоря, я вижу, что мое соединение group.id может использоваться в качестве префикса для элементов в теме, но не ясно, так ли это, и не безопасно ли полагаться на способ отделить кластеры Connect от метаданных друг друга.

Answer 1

Каждому кластеру нужны свои отдельные темы.

Если у вас есть несколько кластеров Kafka Connect, пытающихся использовать одни и те же темы конфигурации / смещения / состояния - даже с другим установленным group.id - вы получите кучу ошибок и / или неожиданного поведения от Kafka Connect.