а количество разделов для чего? В Spark есть много разных параметров (т. Е. Для перетасовки spark.sql.shuffle.partitions, spark.default.parallelism при преобразовании с помощью RDD). Также вы можете изменить номер раздела для Dateset / Datafrem с помощью COALESCE / REPARTITION и т. Д. ...
Существует также другое число разделов по умолчанию для наборов данных, когда вы работаете на локальном ПК или в кластере hadoop.
Вам необходимо указать, что именно нужно установить для разделов?
Вот несколько хороших ссылок, которые могли бы прояснить ваш вопрос:
Как работает раздел Spark (ING) для файлов в HDFS?
Spark-разделы: загрузка файла из локальной файловой системы в кластер с одним узлом