Мой текущий проект работает в пакетном режиме, т. Е. Выполняется ежедневно ночью.
Когда мои приложения выполняли следующие шаги
- Чтение данных из Oracle
- очистить и преобразовать данные
- Определить алгоритм и прикрепить его
- Запустить прилагаемый алгоритм
- Сохранить результаты в Cassandra.
В настоящее время янужно написать это как потоковое приложение.Мы решили использовать технический стек структурированного потокового вещания Kafka & Spark.
Как разбить / сгруппировать вышеуказанные функции, чтобы реализовать их в потоковом режиме.то есть искры работы.Каким должно быть средство общения между этими искровыми работами?Что является отраслевым стандартом для вышеперечисленного?Если два человека хотят работать ниже двух шагов
очистить и преобразовать данные Определить алгоритм и присоединить его
Каким должен быть интерфейс?Пожалуйста, ведите меня.