Я изучаю различные проблемы с памятью, связанные с заданиями Pyspark, запущенными под YARN.
В документации на искру есть свойство: -
spark.executor.pyspark.memory
Есть ли какая-либо выгода в предоставлении этого значения?
Повысит ли это надежность сценариев Pyspark?