У меня есть 10000 (каждый размер файла 13 КБ) паркетных файлов в 30 папках. всего 13 МБ.
Для свойства spark.sql.files.maxPartitionBytes установлено значение 128MB (по умолчанию)
Но когда я пытаюсь прочитать данные с помощью Spark, общее количество разделов не равно 235.
Может кто-нибудь сказать мне, как это рассчитывается?