смещение не зафиксировано kafka connect WorkerSinkTask после восстанавливаемого исключения - PullRequest
0 голосов
/ 03 мая 2020

kafka connect WorkerSinkTask фиксирует смещения через равные промежутки времени. Если некоторые сообщения не были успешно обработаны SinkTask из-за восстанавливаемого исключения, SinkTask выдает RetriableException, и WorkerSinkTask повторно доставляет эти сообщения в SinkTask после истечения времени ожидания повторной попытки. Проблема заключается в том, что даже если сообщения обрабатываются успешно при попытке повторной попытки, смещение этих сообщений не фиксируется WorkerSinkTask, если только некоторые новые сообщения не приходят и не обрабатываются успешно.

Это ошибка подключения kafka или ожидаемое поведение?

...