AttributeError: объект 'NoneType' не имеет атрибута 'запись в Pyspark

Question

Spark: 2.4.4 Pyspark

Я зарегистрировал временную таблицу и пытаюсь сохранить вывод в файл CSV.но получаю ошибку как "AttributeError: объект 'NoneType' не имеет атрибута 'write'"

data.registerTempTable("data")
output = spark.sql("SELECT col1,col2,col3 FROM data").show(truncate = False)

output.write.format('.csv').save("D:/BPR-spark/sourcefile/filtered.csv")

, пожалуйста, помогите

Answer 1

Вы присваиваете результат show () переменной output и show () не возвращает значение.

Итак, вы хотите присвоить Dataframe переменной output, а затем сохранить его следующим образом:

data.registerTempTable("data")
output = spark.sql("SELECT col1,col2,col3 FROM data")
output.write.format('.csv').save("D:/BPR-spark/sourcefile/filtered.csv")