Наконец-то я могу изменить режим планирования на FAIR, но когда я пытаюсь запустить SparkPi, он запускается вместо FIFO.
Вот мои файлы конфигурации:
fairscheduler. xml
<allocations>
<pool name="production">
<schedulingMode>FAIR</schedulingMode>
<weight>1</weight>
<minShare>2</minShare>
</pool>
</allocations>
spark-defaults.conf
spark.scheduler.mode FAIR
введите описание изображения здесь
Согласно официальному документу, приложение может быть настроено для его использования через
conf.set("spark.scheduler.allocation.file", "/path/to/file")
, но я просто использую Spark для сравнительного анализа FIFIO и FAIR, я не совсем уверен в Scala языке или pyspark.