Я новичок в потоковой передаче искры, и у меня есть общий вопрос, касающийся его использования.В настоящее время я реализую приложение, которое передает данные из темы Кафки.
Является ли распространенным сценарием использование приложения для запуска пакета только один раз, например, в конце дня, для сбора всех данных из темы, некоторой агрегации и трансформации и так далее?
Это означает, что после запуска приложения с помощью spark-submit все эти вещи будут выполняться в одном пакете, а затем приложение будет закрыто.Или Spark Stream предназначен для непрерывной и непрерывной потоковой передачи данных в непрерывных пакетах?