Spark DataFrameWriter ignoreNullFields не работает - PullRequest
Новая
       3

Spark DataFrameWriter ignoreNullFields не работает

2 голосов
/ 27 февраля 2020

У меня есть DataFrame, содержащий несколько нулей с другой схемой 

df.show(false)
+----+----+----+----+
|col1|col2|col3|col4|
+----+----+----+----+
|null|null|1   |a   |
+----+----+----+----+

Я пытаюсь записать этот кадр данных в HDFS как файл JSON, но Spark пропускает пустые поля при записи JSON. Это понятно, поскольку ignoreNullFields установлен на true по умолчанию

Но даже когда я использую 

spark.write.option("ignoreNullFields", "false").json(...)

или 

spark.write.option("ignoreNullFields", false).json(...)

Столбцы, содержащие нулевые значения, опускаются.

Есть ли что-то, чего мне не хватает при использовании опции ignoreNullFields?

...