конфигурация по умолчанию для 'spark.shuffle.consolidatefiles'

Question

Каково поведение по умолчанию для Map Shuffling в более новой версии Spark?

Я узнал, что конфигурация spark.shuffle.consolidateFile используется для уменьшения стоимости памяти буфером записи.Но я не могу найти конфигурацию больше.Я проверил конфигурацию, и из Spark 1.6.0 эта конфигурация была удалена.Так каково поведение по умолчанию для Map Shuffling в более новой версии Spark?

Answer 1

Я узнал, что хеш-перемешивание было заменено сортировочным перемешиванием. Так что эта конфигурация больше не имеет смысла.