Я пытаюсь использовать сумму после groupBy, например,
val b = a.groupBy($"key").agg(sum($"value"))
Здесь схема имеет следующий тип:
|-- key: string (nullable = true)
|-- value: integer (nullable = false)
В то время как схема bследующего типа,
|-- key: string (nullable = true)
|-- sum(value): long (nullable = true)
Но когда я делаю b.show, я получаю эту ошибку.
cannot assign instance of scala.collection.immutable.List$SerializationProxy
to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_
of type scala.collection.Seq in instance of org.apache.spark.rdd.MapPartitionsRDD
В чем может быть причина этой ошибки?Я использую Spark 2.3.2 и запускаю код с примечанием Apache Zeppelin.