объединение почтового запроса в apache kafka

Question

У меня есть 3 источника данных, которые предоставляют API для доступа к ним, каждый из них предоставляет некоторую информацию каждый, и я хочу обработать все три запроса и сохранить их все в одном запросе в базе данных. Поэтому мой вопрос заключается в том, может ли Кафка объединить эти запросы при условии, что все эти источники имеют один общий идентификатор, сохранить его в БД и отправить один запрос в нижестоящую систему ..?

Answer 1

Мы можем хранить данные разных источников данных в разных темах, а затем объединять сообщения нескольких тем в одну тему, используя потоки Kafka.

Пример Scala для объединения данных

val mergedStream = streamBuilder.merge(sensor1Stream, sensor2Stream, sensor3Stream, sensor4Stream)

mergedStream.to(Serdes.String(), heartbeatSerde, "Merged-SensorsHeartbeat")

Я бы предложил вам перейти по ссылке ниже для получения дополнительной информации.

http://www.alternatestack.com/development/app-development/kafka-streams-merging-multiple-kstream-s/

Доступны два типа разъемов Соединители для раковины и источника .Соединитель источника используется для записи данных в тему kafka из внешней системы, а Sink Connector - для чтения темы kafka и записи во внешнюю систему.

Теперь вы можете читать данные из объединенного раздела, используя kafkaРазъемы или Дебезиум и запись в вашу базу данных.