Spark Streaming Process с current_timestamp не возвращает данных - PullRequest
0 голосов
/ 14 февраля 2019

Я пытаюсь объединить данные с помощью Spark Streaming.Мои данные не имеют столбца метки времени, поэтому я добавляю свои собственные.Однако, когда код запускается, я не вижу никакого вывода.Код обрабатывает все файлы паркета, но не записывает вывод.Не уверен, что мне не хватает?Эквивалентный код работает в пакетном режиме, поэтому он явно не является проблемой с данными или объединениями.Вот код:

    val messages = accountsJoinTransactions
      .withColumn("eventTime", current_timestamp())
      .withWatermark("eventTime", "1 minutes")
      .groupBy(window(col("eventTime"), "1 minutes") as "range",$"eventTime", "ACCOUNT_NBR")
      .agg(collect_list(struct($"EFF_DATE")) as "FIELD_61_86_ARRAY")
      .map(account => {
        //Do something
      })
     messages.writeStream

Не знаете, что я делаю не так?Любая помощь будет принята с благодарностью.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...