Доступ к хранилищу смещения из разъема - PullRequest
0 голосов
/ 21 февраля 2019

У меня есть исходный соединитель, написанный на Java, работает в распределенном режиме с offset.storage.topic = connect-offsets.Тема заполняется при выполнении задач.Из моего класса задач (расширяет org.apache.kafka.connect.source.SourceTask) я могу прочитать эту тему, используя context.offsetStorageReader().

Есть ли способ прочитать смещение из моего класса соединителя?

При запуске или перезапуске соединителя я хочу иметь возможность использовать эту информацию, чтобы решить, как назначать разделы задачам.Обычно у меня есть небольшое количество «новых» разделов и большое количество «старых» разделов, мне нужно , чтобы назначить все новые разделы одной и той же задаче, но «старые» разделы можно назначить любой задаче,Знание, существует ли запись для раздела, позволило бы мне определить, какие задачи являются «новыми» (смещенная тема не имеет записи), а какие «старыми» (смещенная тема имеет запись).

...