Как определить разделы для Dataframe в pyspark? - PullRequest
0 голосов
/ 13 мая 2018

Предположим, что я читаю файл паркета как Dataframe в pyspark, как я могу указать, сколько разделов должно быть?

Я читаю файл паркета следующим образом -

df = sqlContext.read.format('parquet').load('/path/to/file')

Какможно указать количество используемых разделов?

...