Добавление нового Debezium Connector к Apache Kafka перезапускает снимок - PullRequest
Новая
       16

Добавление нового Debezium Connector к Apache Kafka перезапускает снимок

0 голосов
/ 08 января 2020

Я использую debezium / Kafka (v1.0), который использует Apache Kafka 2.4.

Кроме того, я развернул разъем debezium mysql, который отслеживает некоторые таблицы, настроенные для создания снимка в Начало, в этот момент все хорошо.

Через некоторое время у меня возникает необходимость начать мониторинг других таблиц, поэтому я создаю другой соединитель, на этот раз без моментального снимка, поскольку он не нужен.

Это выдает, что первый соединитель начинает делать снимок снова.

Является ли это ожидаемым поведением?

Как процедура, позволяющая начать мониторинг новых таблиц без подключения других, снова делает снимок?

заранее спасибо.

Добавлено редактирование конфигов:

Первый разъем 

{
  "name": "orion_connector_con_snapshot_prod_v1",
  "connector.class": "io.debezium.connector.mysql.MySqlConnector",
  "tasks.max": "1",
  "key.converter": "org.apache.kafka.connect.json.JsonConverter",
  "value.converter": "org.apache.kafka.connect.json.JsonConverter",
  "database.hostname": "my_host",
  "database.port": "3306",
  "database.user": "my_db",
  "database.password": "*********************",
  "database.server.name": "orion_kafka",
  "database.history.kafka.bootstrap.servers": "kafka:9092",
  "database.history.kafka.topic": "history_orion",
  "database.history.skip.unparseable.ddl": "true",
  "database.history.store.only.monitored.tables.ddl": "true",
  "table.whitelist": "orion.orion_CABA_datosbasicos,orion.orion_Cordon1_datosbasicos,orion.orion_Cordon2_datosbasicos,orion.orion_Cordon3_datosbasicos,orion.orion_Cordon4_datosbasicos",
  "snapshot.mode": "when_needed",
  "snapshot.locking.mode": "none"
}

Второй разъем, который запускает проблему 

{
  "name": "nexo_impactos_connector_sin_snapshot_v1",
  "connector.class": "io.debezium.connector.mysql.MySqlConnector",
  "tasks.max": "1",
  "key.converter": "org.apache.kafka.connect.json.JsonConverter",
  "value.converter": "org.apache.kafka.connect.json.JsonConverter",
  "database.hostname": "my_host",
  "database.port": "3306",
  "database.user": "my_db",
  "database.password": "*********************",
  "database.server.name": "nexo_kafka",
  "database.history.kafka.bootstrap.servers": "kafka:9092",
  "database.history.kafka.topic": "nexo_impactos",
  "database.history.skip.unparseable.ddl": "true",
  "database.history.store.only.monitored.tables.ddl": "true",
  "table.whitelist": "dashboard.nexo_impactos",
  "snapshot.mode": "schema_only",
  "snapshot.locking.mode": "none"
}
...