Я бегу искрой по пряже. Я не понимаю, в чем разница между следующими настройками spark.yarn.executor.memoryOverhead и spark.memory.offHeap.size. Похоже, что оба являются настройками для выделения памяти вне кучи для Spark Executor. Какой из них я должен использовать? Также, какова рекомендуемая настройка для памяти исполнителя?
Большое спасибо!