Изменить connect.offsets ошибка коннектора kafka - PullRequest
0 голосов
/ 29 мая 2020

Я синхронизирую c данные из binlog mysql в kafka, и иногда файл binlog был удален, и я получаю сообщение об ошибке при перезапуске коннектора

org.apache.kafka.connect.errors.ConnectException: The connector is trying to read binlog starting at binlog file 'mysql-bin.000003', pos=154, skipping 0 events plus 0 rows

Я меняю /tmp/connect.offsets к текущему файлу binlog. Но он снова загружает все данные из базы данных pu sh topi c. Я хочу предотвратить это, я хочу загружать изменения только из файла binlog.

1 Ответ

0 голосов
/ 01 июня 2020

это ожидаемое поведение. Debezium никогда не должен находиться в нерабочем состоянии до тех пор, пока не будет удален любой невыполненный бинарный журнал, поскольку это приведет к несогласованности данных, поэтому сообщение об ошибке будет правильным.

Правильное решение этой ситуации - использование snapshot.mode=when_needed. Другое решение, которое вы упомянули, - это манипуляция смещением. Но здесь вы должны допустить любую ошибку, так как то, что вы описываете, звучит так, как будто Connecotr вообще не смог найти смещения, поэтому он думает, что он работает с нуля, и инициирует новый снимок.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...