Как переопределить конфигурации Kafka Topi c в MongoDB Source Connector? - PullRequest
Новая
       2

Как переопределить конфигурации Kafka Topi c в MongoDB Source Connector?

3 голосов
/ 18 января 2020

Я использую исходный соединитель MongoDB для получения данных из коллекции MongoDB в Кафку. Этот коннектор делает то, что он автоматически создает topi c, используя следующее соглашение об именах:

[prefix_provided_in_the_connector_properties]. [Db_name]. [Collection_name]

В документации MongoDB Source Connector нет упоминания о переопределении конфигурации topi c, такой как число разделов или коэффициент репликации . У меня есть следующие вопросы:

  1. Возможно ли переопределить конфигурации topi c в файле connector.properties?
  2. Если нет, то делается ли это на конце Кафки? Если да, можем ли мы индивидуально настроить параметры каждой темы или это глобально повлияет на все темы?

Спасибо!

1 Ответ

0 голосов
/ 18 января 2020

Похоже, у вас есть auto.create.topics.enable=true на ваших брокеров. Рекомендуется отключить это и принудительно создать topi c вручную.

Connect создает только внутренние темы для себя. Соединители источника должны в идеале создавать темы заранее, в противном случае вы получите значения по умолчанию, установленные в broker server.properties. Изменение значений не изменит существующие темы

...