У меня ошибка при запуске примера StructuredNetworkWordCountWindowed
.
Error: org.apache.spark.sql.AnalysisException: Can't extract value from timestamp#3:
need struct type but got timestamp;
Я гуглил, но без решения. Это действительно сбивает с толку. Вот код:
val words = lines.as[(String, Timestamp)].flatMap(line =>
line._1.split(" ").map(word => (word, line._2))
).toDF("word", "timestamp")
val windowedCounts = words.groupBy(
window($"timestamp", windowDuration, slideDuration)
).count().orderBy("window")
val query = windowedCounts.writeStream
.outputMode("complete")
.format("console")
.option("truncate", "false")
.start()