Кафка в MongoDB с использованием Spring Cloud Dataflow

Question

Я работаю над проектом, в котором мне нужно обрабатывать данные, поступающие из кластера Кафки, обрабатывать их и отправлять в MongoDB. Приложение должно быть развернуто на базе Pivotal Cloud. Проведя некоторые исследования inte rnet, я обнаружил, что инструментарий Spring-Cloud-Dataflow интересен, поскольку его можно развернуть в PCF. Мне интересно, как мы можем использовать его для создания нашего потокового конвейера в реальном времени. В данный момент я думаю об использовании Kafka Streams и Spring Cloud Stream для обработки и преобразования потоков тем, но я не знаю, как интегрировать их в SCDF, а также как мы можем отправить эти потоки в MongoDB. Извините, если мой вопрос неясен, я совершенно новичок в этих рамках.

Заранее спасибо

Answer 1

Вы можете использовать поддержку named-destination в SCDF для непосредственного получения событий от Kafka или любого другого поддерживаемого Spring Cloud Stream реализации брокера сообщений .

Теперь, для части записи вы можете использовать готовое приложение MongoDB-sink , которое мы создаем, поддерживаем и отправляем.

Если вам нужно выполнить некоторую обработку перед записав в MongoDB, вы можете создать собственное приложение Spring Cloud Stream с желаемой реализацией связующего устройства [см .: dev-guide / docs ].

Чтобы сложить все это вместе, если мы предположим, что у вас есть события, приходящие из топологии Kafka c с именем Customers, и пользовательский процессор выполняет некоторые преобразования для каждой из полученных полезных нагрузок (давайте предположим, что имя процессор как CustomerTransformer), и, наконец, часть записи в MongoDB.

Вот пример использования этого конвейера потоковой передачи данных, разработанного на инструментальной панели SCDF: