Используя Kafka Mon go Source Connector, мы обнаруживаем странную ошибку. Эта конфигурация ..:
{
"name": "mongo-src",
"config": {
"tasks.max":1
"connector.class":"com.mongodb.kafka.connect.MongoSourceConnector",
"key.converter":"org.apache.kafka.connect.storage.StringConverter",
"value.converter":"org.apache.kafka.connect.storage.StringConverter",
"connection.uri":[THE CONNECTION URL]
"database":"foo",
"collection":"bar"
"pipeline":"[{\"$match\": { \"$or\": [ {\"operationType\": \"insert\"}, {\"operationType\": \"replace\"}]}}]",
"topic.prefix": "my.prefix"
}
}
.. приводит к следующей ошибке:
[2020-06-29 03:51:48,923] WARN [mongo-src|task-0] [Producer clientId=connector-producer-mongo-src-0] Error while fetching metadata with correlation id 2341 : {my.prefix.5eb208a381fe801e314ee9bd_foo.bar=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient:1063)
Это происходит не всегда. Иногда ищется правильный топи c. В других случаях ищут обоих. Затем соединитель работает, в то время как другой - внутренний - производитель пытается подключиться к несуществующей topi c.
Разочарование заключается в том, что, несмотря на удаление (соединителя), ошибочный производитель соединителя продолжает попытки, что приводит к загрязнению кафки. подключить файлы журналов. Только перезапуск узлов кластера решает эту проблему.
Это поведение никому не знакомо?