Я пытаюсь объединить данные с помощью Spark Streaming.Мои данные не имеют столбца метки времени, поэтому я добавляю свои собственные.Однако, когда код запускается, я не вижу никакого вывода.Код обрабатывает все файлы паркета, но не записывает вывод.Не уверен, что мне не хватает?Эквивалентный код работает в пакетном режиме, поэтому он явно не является проблемой с данными или объединениями.Вот код:
val messages = accountsJoinTransactions
.withColumn("eventTime", current_timestamp())
.withWatermark("eventTime", "1 minutes")
.groupBy(window(col("eventTime"), "1 minutes") as "range",$"eventTime", "ACCOUNT_NBR")
.agg(collect_list(struct($"EFF_DATE")) as "FIELD_61_86_ARRAY")
.map(account => {
//Do something
})
messages.writeStream
Не знаете, что я делаю не так?Любая помощь будет принята с благодарностью.