Я планирую собрать следующий конвейер данных для одного из требований.
IBM MQ -> Kafka Connect -> Flink -> MongoDB
Потоковая передача в режиме реального времени Flink - это выполнение фильтрации, применение бизнес-правил и обогащениевходящие записи.
Часть IBM MQ является устаревшим компонентом, который нельзя изменить.
Возможно, для слияния части потока Кафки и Флинка будет использоваться платформа слияния или кластера.
Я мог бы использовать некоторые мысли /предложения вокруг вышеупомянутого подхода.