Как увеличить лимит памяти контейнера через консоль Pyspark напрямую?

Question

Я запускаю задание Spark на узлах 16 ГБ и получаю сообщение об ошибке:

Container killed by YARN for exceeding memory limits.  5.6 GB of 5.5 GB physical memory used. 
Consider boosting spark.yarn.executor.memoryOverhead or disabling yarn.nodemanager.vmem-check-enabled because of YARN-4714.

Как увеличить пределы памяти контейнера непосредственно из консоли? (не раньше открытия Spark shell)?

Answer 1

Попробуйте

conf=SparkConf()
conf.set("spark.executor.memory", "12g")