Точно однажды передача с использованием метода flu sh () Kafka Sink Connector - PullRequest
0 голосов
/ 29 апреля 2020

Я отвечал на вопрос о переполнении стека ниже, и у меня был вопрос по этому поводу.

Поместить () против гриппа sh () в задаче раковины коннектора Kafka

Я не смог прокомментировать .... недостаточно репутации :( .... так что мой вопрос, как показано ниже

У меня есть соединитель приемника, и в настоящее время я отправляю все записи приемника в вызове метода put в систему назначения. По сути, я зацикливаюсь на приемниках в методе put и создание сообщения в формате назначения и размещение его в конце метода put. Я также делаю некоторые обработки исключений и ведение журнала здесь.

Есть ли какие-либо преимущества или недостатки / недостатки при выполнении этой публикации не в конце метода put, но в методе flu sh. Есть ли какие-либо моменты, которые необходимо учитывать для производительности, обработки исключений или непредсказуемого поведения.

Может ли это (реализация публикации / обновления системных логов c в Метод flu sh () используется для реализации ровно одной передачи. Я имею в виду, что некоторые положительные методы могут успешно выполняться, но некоторые это происходит до того, как вызывается метод flu sh, и возникает исключение. Тогда flu sh не будет запущен, поэтому смещение не обновляется, но некоторые записи достигают пункта назначения. При перезапуске соединителя эти записи могут быть переданы снова.

Если у нас есть все записи, отправленные в систему назначения по методу flu sh, и при успешном завершении смещения будут обновлены. Является ли это надежным способом обеспечения ровно одной операции. И ват может быть подводных камней в целом с таким подходом.

Любые мысли / предложения будут оценены.

...