Пустой вывод для запроса агрегации с водяными знаками в режиме добавления с использованием структурированной потоковой передачи Spark - PullRequest
Новая
       31

Пустой вывод для запроса агрегации с водяными знаками в режиме добавления с использованием структурированной потоковой передачи Spark

0 голосов
/ 02 апреля 2020

Я использую spark 4.4 Structured Streaming и пытаюсь прочитать данные с диска и отобразить вывод в режиме добавления, но я не получаю никакого вывода. Существует несколько файлов CSV, и каждый файл содержит данные одной даты. Я получаю только пустые партии. 

country_date = data.dropDuplicates(["ObservationDate", "Country"]) \
.withWatermark("ObservationDate", "1 day") \
.groupby("ObservationDate", "Country").agg(
{'Confirmed': 'sum', 'Deaths': 'sum', 'Recovered': 'sum'}).withColumnRenamed("sum(Recovered)", "Total Recovered").withColumnRenamed("sum(Deaths)", "Total Deaths")\
.withColumnRenamed("sum(Confirmed)", "Total Confirmed")

country_date_query = country_date.writeStream.format(source="console") \
.option("numRows", "20") \
.option("truncate", "false") \
.outputMode("append").start()
...