Я новичок в использовании spark, и кажется, что нам нужно поместить файл в формате pandas, чтобы перевести его в формат паркета. Это правильно? Существуют ли способы, которыми мы могли бы непосредственно поместить их в формате паркета.
Нет, нет.Фреймы данных Spark не совпадают с фреймами данных Pandas.Тем не менее, это , вероятно, то, что вы ищете.В официальной документации Spark .