Почему я не могу найти spark.shuffle.minNumPartitionsToHighlyCompress в документе конфигурации Spark 2.4.6
Вот код в пакете. scala blow:
private[spark] val SHUFFLE_MIN_NUM_PARTS_TO_HIGHLY_COMPRESS =
ConfigBuilder("spark.shuffle.minNumPartitionsToHighlyCompress")
.internal()
.doc("Number of partitions to determine if MapStatus should use HighlyCompressedMapStatus")
.intConf
.checkValue(v => v > 0, "The value should be a positive integer.")
.createWithDefault(2000)
Будет ли изменить в будущем?