Как нам сопоставить несколько коллекций с несколькими темами в mongodb-sink-connector? - PullRequest
0 голосов
/ 16 января 2020

Я использую соединитель приемника mongodb для чтения данных из некоторых тем json, а затем записываю их в соответствующие коллекции в mongodb. Но когда я даю несколько коллекций с сопоставлениями topi c -коллекций, коннектор не распознает имена коллекций, а вместо этого создает коллекции с именем, совпадающим с темами ». Ниже приведен рабочий конфиг:

name=sink-mongonew_Transaction_test4
connector.class=com.mongodb.kafka.connect.MongoSinkConnector
connection.uri=mongodb://****:27017
database=ec_ods
topics=t6,t5
collections=abc,def
collection.t6=abc
collection.t5=def
type.name=kafka-connect
key.ignore=true
document.id.strategy.abc=com.mongodb.kafka.connect.sink.processor.id.strategy.PartialValueStrategy
value.projection.type.abc=whitelist
value.projection.list.abc=ID
writemodel.strategy.abc=com.mongodb.kafka.connect.sink.writemodel.strategy.UpdateOneTimestampsStrategy
document.id.strategy.def=com.mongodb.kafka.connect.sink.processor.id.strategy.PartialValueStrategy
value.projection.type.def=whitelist
value.projection.list.def=ID
writemodel.strategy.def=com.mongodb.kafka.connect.sink.writemodel.strategy.UpdateOneTimestampsStrategy
delete.on.null.values=false
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
value.converter.schemas.enable=false
internal.key.converter=org.apache.kafka.connect.json.JsonConverter
internal.value.converter=org.apache.kafka.connect.json.JsonConverter
internal.key.converter.schemas.enable=false
internal.value.converter.schemas.enable=false

Ответы [ 2 ]

0 голосов
/ 02 апреля 2020

Это обновленная ссылка.

https://github.com/mongodb/mongo-kafka/blob/master/config/MongoSinkConnector.properties

Я думаю, репо было обновлено.

0 голосов
/ 16 января 2020

https://github.com/mongodb/mongo-kafka/blob/master/config/MongoSinkConnector.properties

Я нашел другой способ использования нескольких коллекций в приведенной выше ссылке, который использует переопределение и даже позволяет использовать как глобальные, так и локальные атрибуты для несколько коллекций одновременно.

...