Я использую команду spark-submit для запуска кода Python с использованием pyspark.
Что-то вроде:
spark-submit --master yarn --num-executors 15 --executor-cores 6 test.py
Есть ли способ получитьпараметры, которые я использую в команде spark-submit в python, например, получаем 15 и 6 в качестве переменных, и если я использую другие числа, получим эти числа.