Соединитель источника Coucbase to Kafka - PullRequest
0 голосов
/ 17 октября 2019

Я использовал соединитель источника kafka для передачи документов из Couchbase в kafka. Эти документы затем копируются в БД Монго.

Couchbase -> Исходный соединитель -> Kafka -> Sink Connector ---> Mongo

Если исходный соединитель не работает, то как снова синхронизировать все документы с Kafka?

Есть ли какая-либо функция get и touch, которая может агитировать все изменения, внесенные в течение периода простоя, в тему kafka?

1 Ответ

0 голосов
/ 05 ноября 2019

Если вы спрашиваете об обработке изменений документа, которые произошли, когда коннектор источника не работал, то вам не нужно ничего делать. Kafka Connect сохраняет состояние (смещения) исходного соединителя и восстанавливает состояние StreamTask и продолжает с того места, где оно было прервано. Разъем источника Couchbase поддерживает это, как мы видим в коде здесь , который затем используется здесь для инициализации потока DCP с сохраненными смещениями.

ЕслиВы спрашиваете, как сбросить разъем и повторно направить всю корзину с самого начала, это на самом деле не так просто. Насколько я знаю, в Kafka нет встроенного способа сброса смещений коннектора - есть обзор KIP, связанный с этим: KIP-199 Запрет официальной поддержки, лучший из известных мне способовСброс состояния соединителя - это либо изменение конфигурации, чтобы использовать другую тему для сохранения смещений, что является случайным и оставляет старые смещения как потенциальную проблему, либо фактическое редактирование сохраненных смещений, как описано здесь . Я бы никогда не выступил за то, чтобы делать что-либо из производственной системы, так что используйте свое собственное мнение.

...