Confluent Platform: Source Connector (jdbc) продолжает извлекать старые данные - PullRequest
1 голос
/ 08 июля 2019

Я использую Confluent Platform 4.1.1 для передачи данных с sql-сервера в базу данных Oracle.Для этого я использую метку времени + инкрементный режим и слитный JDBC.Но иногда я вижу, что исходный соединитель продолжает извлекать одни и те же старые данные (которые он уже синхронизировал ранее) снова и снова и продолжает записывать их в файл журнала Kafka, из-за чего ему требуется много времени для синхронизации любых новых данных, которые вставляютсяв таблице sql-сервера.В таком случае, когда я проверял бы потребительское отставание, оно было бы огромным.

Я думал, что это происходит, потому что это теряет компенсацию.Я использовал offset.retention 24 часа (по умолчанию).Поэтому я увеличил его до 7 дней, но все еще вижу проблему с перерывами, хотя у нас есть транзакции каждый день.

Может кто-нибудь объяснить это поведение.Я был бы рад предоставить любую дополнительную информацию, если потребуется.

...