имя 'spark_write_parquet' не определено - ошибка при записи файла паркета в python / databricks / spark

Question

Я получаю ошибку ниже при записи файла паркета имя 'spark_write_parquet' не определено

Нужно ли что-либо импортировать, чтобы определить эту команду? Пожалуйста, помогите

Answer 1

Нет функции с именем spark_write_parquet! Всегда хорошо по крайней мере сначала обратиться к документации и API !

df.select("name", "age").write.save("namesAndAges.parquet", format="parquet")

OR

df.write.parquet(os.path.join(tempfile.mkdtemp(), 'data'))