Почему я не могу найти spark.shuffle.minNumPartitionsToHighlyCompress в официальной конфигурации do c из 2.4.6 - PullRequest
0 голосов
/ 17 июня 2020

Почему я не могу найти spark.shuffle.minNumPartitionsToHighlyCompress в документе конфигурации Spark 2.4.6

Вот код в пакете. scala blow:

  private[spark] val SHUFFLE_MIN_NUM_PARTS_TO_HIGHLY_COMPRESS =
  ConfigBuilder("spark.shuffle.minNumPartitionsToHighlyCompress")
  .internal()
  .doc("Number of partitions to determine if MapStatus should use HighlyCompressedMapStatus")
  .intConf
  .checkValue(v => v > 0, "The value should be a positive integer.")
  .createWithDefault(2000)

Будет ли изменить в будущем?

...