Возможность позже изменить платформу Kafka, не оказывая влияния на данные таблиц.

Question

Если я использую Kafka Connect для синхронизации c 2 таблиц с соединителем Source и Sink, есть ли возможность изменить платформу Kafka позже, не оказывая влияния на данные таблицы.

Я использую Kafka connect для syn c данные между базами данных микроуслуг, и я предполагаю, что будут случаи, когда мне нужно будет перейти с одного экземпляра Kafka на другой.

Сценарий: если у меня есть 100 записей в таблице A, те же 100 записей будут быть доступным в таблице B, а Topi c T1 используется для синхронизации c. Если я откажусь от существующей топики Kafka c T1 и создам новую топи c T2 для той же задачи (или если я перейду из одного кластера Kafka в другой), он снова перенесет 100 записей из таблицы A в таблицу B, приведя насчет дублирования?

Answer 1

Непонятно, что вы подразумеваете под «изменением платформы kafka».

Соединители Sink хранят записи чтения, как и любой другой потребитель в группе потребителей.

Идентификаторы групп и связанные с ними использованные смещения topi c сохраняются в топике Kafka c.

Если вы когда-либо меняете кластеры, идентификаторы, темы и т. Д. c, вы фактически делаете новую группу потребителей, перезапуская то, что уже было использовано