Topi c ошибка сопоставления Kafka Connect Mon go Source Connector - PullRequest
0 голосов
/ 18 июня 2020

Используя Kafka Mon go Source Connector, мы обнаруживаем странную ошибку. Эта конфигурация ..:

{
   "name": "mongo-src",
   "config": {
       "tasks.max":1
      "connector.class":"com.mongodb.kafka.connect.MongoSourceConnector",
      "key.converter":"org.apache.kafka.connect.storage.StringConverter",
      "value.converter":"org.apache.kafka.connect.storage.StringConverter",
      "connection.uri":[THE CONNECTION URL]
      "database":"foo",
      "collection":"bar"
      "pipeline":"[{\"$match\": { \"$or\": [ {\"operationType\": \"insert\"}, {\"operationType\": \"replace\"}]}}]",
      "topic.prefix": "my.prefix"
  }
}

.. приводит к следующей ошибке:

[2020-06-29 03:51:48,923] WARN [mongo-src|task-0] [Producer clientId=connector-producer-mongo-src-0] Error while fetching metadata with correlation id 2341 : {my.prefix.5eb208a381fe801e314ee9bd_foo.bar=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient:1063)

Это происходит не всегда. Иногда ищется правильный топи c. В других случаях ищут обоих. Затем соединитель работает, в то время как другой - внутренний - производитель пытается подключиться к несуществующей topi c.

Разочарование заключается в том, что, несмотря на удаление (соединителя), ошибочный производитель соединителя продолжает попытки, что приводит к загрязнению кафки. подключить файлы журналов. Только перезапуск узлов кластера решает эту проблему.

Это поведение никому не знакомо?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...