Эффективные способы добавления дополнительных таблиц в белый список в Debezium Mysql Connector - PullRequest
2 голосов
/ 28 мая 2020

Существуют ли какие-либо передовые методы для добавления новой таблицы в белый список коннектора debezium mysql?

Мы используем коннектор debezium mysql для наших потоков CD C, и появился вариант использования для добавления дополнительных таблиц в конфигурацию коннектора. Вот сведения о версии используемого debezium и

{
    "class": "io.debezium.connector.mysql.MySqlConnector",
    "version": "0.8.0.Final",
    "snapshot.mode": "schema_only"
}

Существует билет debezium https://issues.redhat.com/browse/DBZ-906, который указывает на запуск коннектора в

"snapshot.mode": "schema_only_recover"

режим и воссоздать историю топи c перед перезапуском коннектора. У меня возникло несколько вопросов относительно этого подхода

Доступна ли эта опция и для вышеупомянутой версии? Как я могу получить обновления новой таблицы, сделанные до того, как таблица была добавлена ​​в белый список?

1 Ответ

1 голос
/ 01 июня 2020

прежде всего, пожалуйста, обновите Debezium, так как версия 0.8.0 очень старая.

Обычно существует несколько подходов к решению вашей проблемы, но если вы можете позволить себе паузу в потоковой передаче, чем я бы рекомендовал 1 ) Остановите текущий коннектор 2) Запустите новый коннектор с новой таблицей из белого списка, чтобы выполнить на нем моментальный снимок 3) Когда снимок будет завершен, запустите исходный коннектор с обновленным списком таблиц белого списка

См. Например https://groups.google.com/forum/?fromgroups=#! Msg / debezium / Iw4BgLZ8Mq4 / SZBLGwEaAQAJ; context-place = forum / debezium для точной информации

Если вы не можете позволить себе простой, проверьте экспериментальный подход, представленный в DBZ-175

...