У меня есть датафрейм, для которого я хотел бы создать файл паркета. Я использую приведенную ниже команду для создания файла паркета.
mydf.write.parquet ( "test.parquet")
Я пытался указать полный путь, но все еще не могу найти этот файл. Команда работает нормально, так как я могу прочитать файл обратно в новый DF, но я хотел найти этот файл.
Вопрос: где я могу найти этот файл в наших файлах hdf?
Спасибо,
Robin