Как читать паркетный файл с PySpark 1.6?

Question

Я могу прочитать обычный файл с:

textFile = sc.textFile("README.md")

, но как прочитать файл Parquet?

Answer 1

parquetFile = sqlContext.read.parquet("people.parquet")

or in your case

parquetFile = sc.read.parquet("people.parquet")

Я бы прочитал документацию здесь для получения дополнительной информации: https://spark.apache.org/docs/1.6.0/sql-programming-guide.html#hive-metastore-parquet-table-conversion

Answer 2

data = sqlContext.read.parquet("/tmp/testParquet")
display(data)