У меня есть требование обрабатывать большие данные, генерируемые Kafka в реальном времени, и обрабатывать их в реальном времени. Бизнес-логика заключается в применении правил к каждому сообщению, это как набор правил SQL, которые будут соответствовать фактам и выполнять желаемое действие (сохраняться в любой базе данных nosql), правила - это очень простые фильтры и условия. хотелось бы понять, что является лучшим подходом для обработки таких сообщений в режиме реального времени.
Потоковая передача данных с использованием Spark Streaming от Kafka и использование механизма правил для применения вывода к каждому сообщению.
Потоковая передача данных с использованием Kafka Streamsиспользуйте механизм правил для применения логического вывода к каждому сообщению.
Kafka KSQL - это еще одна опция, которая может позволить нам превышать операции sql над сообщениями. Однако к каждому сообщению необходимо применять логику, а не группу сообщений. Поддерживает ли KSQL обработку операций SQL для каждого сообщения?.
Мы ищем лучший подход для однократного ввода логики со знанием и рассуждениями и применения этих правил без особых изменений. Я хотел бы услышать любые другие подходы, которые лучше всего подходят для такого рода приложений.
Заранее спасибо.