Официальный коннектор исходного кода MongoDB для Apache Kafka с MongoDB-4.0 - PullRequest
Новая
       102

Официальный коннектор исходного кода MongoDB для Apache Kafka с MongoDB-4.0

0 голосов
/ 08 мая 2020

У меня есть требование, в котором я должен фиксировать события MongoDB ChangeStream (вставляет / обновляет и c) и предпринимать некоторые действия (сохранить в OracleDB). Я подумал об этом дизайне, который кажется хорошим:

"MongoDB-ChangeStream" --> "MongoDB Source Connector for Apache Kafka" --> "Kafka Broker-Topic" --> "Java Service" --> OracleDB

Мой вопрос: я использую MongoDB-4.0 и «Коннектор исходного кода MongoDB для Apache. Kafka »был представлен в MongoDB-4.2. Могу ли я использовать «MongoDB Source Connector для Apache Kafka» с MongoDB-4.0?

MongoDB Source Connector для Apache Kafka - Официальная страница: https://www.confluent.io/hub/mongodb/kafka-connect-mongodb

Официальная страница «MongoDB Source Connector для Apache Kafka» не говорит о каких-либо предварительных требованиях с точки зрения версии MongoDB.

Мой второй вопрос, может ли это (MongoDB Source Коннектор для Apache Kafka), настройка выполняется на Windows?

Благодарю за любую помощь.

Ответы [ 2 ]

0 голосов
/ 09 мая 2020

Рабочее решение для MongoDB (4.0) ChangeStreams с официальным коннектором MongoDB (mongodb-kafka-connect-mongodb-1.1.0) для Apache Kafka без использования клиента Confluent Hub

  1. Скачать официальную Соединитель MongoDB Kafka: i. open https://www.confluent.io/hub/ ii. search "mongodb" iii. select from dropdown "MongoDB Connector for Apache Kafka" iv. Click on Download in Download installtion (note I am not using Confluent) v. unzip the downloaded file (on windows) eg. F:\software\mongodb\mongodb-kafka-connect-mongodb-1.1.0 vi. inside "etc" folder open file "MongoSourceConnector.properties" vii. Make only one change with respect to MongoDB url: connection.uri=mongodb://localhost:27017,localhost:27018 viii. One change in Kafka: In F:\software\kafka_2.12-2.4.1\config\connect-standalone.properties: plugin.path=F:\\software\\mongodb\\mongodb-kafka-connect-mongodb-1.1.0
  2. запуск Zookeeper: bin/zookeeper-server-start.sh config/zookeeper.properties

  3. запуск Kafka: .\bin\windows\kafka-server-start.bat .\config\server.properties

  4. запуск Kafka-Connect : bin\windows\connect-standalone.bat config\connect-standalone.properties F:\software\mongodb\mongodb-kafka-connect-mongodb-1.1.0\etc\MongoSourceConnector.properties

  5. Добавьте новый документ в коллекцию MongoDB, и у вас должна быть новая вершина c созданная dbName.collectionName и событие ChangeStream должно появиться в этой топи c.
0 голосов
/ 08 мая 2020

Ответ уже есть в документации :

Коннектор источника Kafka требует MongoDB 3.6 или более поздней версии в качестве источника данных, если вы используете потоки изменений только с коллекцией. Если вам нужно наблюдать за базой данных или развертыванием, вам потребуется MongoDB 4.0 или новее.

Относительно вашего второго вопроса; Да, можно запустить Kafka на Windows.

...