Каким должен быть подход к потоковой передаче коллекции Mongo в тему Kafka с использованием vertx?

Question

У меня есть коллекция MongoDB.Я хочу направить подмножество этой коллекции (на основе какого-либо запроса) в тему Kafka, используя Vert.x.

До сих пор я создал vert.x veriment для KafkaWriteStream, который, кажется, работает с фиктивнойжестко закодированные строки.

К сожалению, я не уверен в том, как получить поток документов из MongoDB, который впоследствии мог бы быть передан в Kafka с использованием выделенной вертикали.

Как я могу подойти к этому?У кого-нибудь есть соответствующие ссылки или информация?

Answer 1

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *.чтение данных из Mongo и отправка их в Kafka.

Однако остерегайтесь обратного давления: не перегружайте клиент Kafka, если Mongo загружает данные слишком быстро.Ваш алгоритм должен выглядеть так:

readstream.handler(data -> {
  transformedData = transform(data); // your own transformations
  writestream.write(transformedData);
    if (writestream.writeQueueFull()) {
      readstream.pause();
      writestream.drainHandler(done -> {
        readstream.resume();
      });
    }
});