Я застрял в сценарии, где мне нужно использовать поток данных из 2 или более тем кафки (после применения фильтра) и сравнить данные. Поскольку объем данных большой, пожалуйста, предложите лучшие доступные варианты. Возможно ли это с помощью flink?
Существует несколько различных способов, которыми можно было бы использовать этот подход для Flink. Более простыми вариантами, вероятно, являются либо
Использование Kafka с таблицей / SQL APi покрыто здесь .
почему бы не попробовать потоковое воспроизведение искры? В Spark есть коннекторы для чтения тем kafka и просмотра их в виде таблицы (иначе, датафрейм), и вы можете выполнять sql запросов поверх фрейма данных и сравнивать результаты