искровая запись: источник данных CSV не поддерживает нулевой тип данных

Question

У меня ошибка в моем коде.Код сбрасывает некоторые данные в базу данных Redshift.

После некоторых исследований я нашел простой способ воспроизвести их в спарк-консоли.

Работает нормально:

scala> Seq("France", "Germany").toDF.agg(avg(lit(null))).write.csv("1.csv")
scala>

Но если я заменим avg на max Я получу ошибку "Источник данных CSV не поддерживает нулевой тип данных."

scala> Seq("France", "Germany").toDF.agg(max(lit(null))).write.csv("2.csv")
java.lang.UnsupportedOperationException: CSV data source does not support null data type.

Что не так с max ?

Answer 1

Ошибка верна, так как AVG возвращает тип данных DOUBLE

Seq("France", "Germany").toDF.agg(avg(lit(null)).alias("col1")).printSchema

, где MAX возвращает тип как ноль

Seq("France", "Germany").toDF.agg(max(lit(null)).alias("col1")).printSchema

поэтому, когда вы пишете фрейм данных, в котором MAX выдает ошибку, если вы хотите сохранить фрейм данных с max, явно преобразуйте его в другой тип

Seq("France", "Germany").toDF.agg(max(lit(null)).alias("col1").cast(DoubleType)).write.csv("path")