Кафка на ЭС и другие мойки БД - PullRequest
Новая
       3

Кафка на ЭС и другие мойки БД

1 голос
/ 19 февраля 2020

Используя исходный соединитель mysql, я могу записать изменения mysql и отправить на них ES или другой дБ для резервного копирования. Но для этого мне нужен отдельный соединитель (и источник, и приемник) для каждой таблицы, которую я имею в моей исходной базе данных. Итак, мой вопрос:

Без создания одинакового количества соединителя источника и приемника для каждой таблицы, как я могу достичь той же цели? Как это громоздко, чтобы создать так много разъемов. Так что резервное копирование базы данных (реплика) и создание более быстрого сервиса ответа для клиентов станет для меня намного проще. Или нет способа сделать это?

1 Ответ

1 голос
/ 19 февраля 2020

Для разъемов источника вы можете использовать table.whitelist. Например, 

table.whitelist: "User, Address, Email"

Разъемы Sink могут быть настроены только для одной таблицы за раз.

И я бы не сказал, что сложно поддерживать несколько коннекторы и темы для стоков / источников. По моему опыту, сложнее поддерживать коннекторы, которые реплицируют данные из нескольких тем / источников. Например, если вы хотите применить SMT (простое преобразование сообщений) к определенной топике c, вы не сможете достичь этого, если у вас нет изолированных соединителей, поскольку SMT применяются на уровне соединителей. Более того, если вы сконфигурируете один соединитель для всех ваших источников, и в какой-то момент он выйдет из строя, все ваши целевые системы столкнутся с простоями.

...