Я использую потоки мерцания в микросервисной архитектуре для передачи данных ETL из сервисов в базы данных отчетов и поиска. Чтобы ощутить изменения данных, в настоящее время я создаю пользовательское событие для RMQ, а затем использую потоки для разделения, агрегирования и преобразования данных на основе потребностей в отчетах и поиске.
Я перехожу на kafka в качестве брокера и debezium для получения данных из всех баз данных микро-сервисов. Я брожу, если я могу использовать KStreams API или Flink или есть возможность объединить оба.