yarn.nodemanager.resource.memory-mb, yarn.scheduler.maximum-alloc-mb указывает максимальное количество памяти, которое может быть выделено для контейнера, а yarn.nodemanager.resource.cpu-vcores указывает максимальное количество ядер, которое может бытьвыделено для контейнера.
По умолчанию пряжа выделит одно ядро процессора и 1 ГБ памяти для контейнера (исполнитель в искре), а также по умолчанию пряжа создаст 2 контейнера (2 исполнителя) для приложения spark.
Мы можем переопределить количество ядер и объем памяти для исполнителя, используя следующие свойства --conf spark.executor.memory = 4g, --conf spark.executor.cores = 2
Такжемы можем переопределить число исполнителей для приложения spark, используя свойство ниже --conf spark.executor.instances = 3