Обычный topi c, когда Spark обнаруживает ошибку ограничения физической памяти, является параметром служебных данных памяти. Я пытаюсь понять, как - «Подумайте об увеличении spark.yarn.executor.memoryOverhead» решит проблемы, когда контейнеры уничтожаются из-за превышения ограничений физической памяти? Как?
Например, я получаю контейнеры, убитые Yarn за превышение пределов памяти 8,2 ГБ из 8 ГБ физической памяти. Как здесь поможет увеличение накладных расходов на память? Если память контейнера исполнителя определена, скажем, X, и мы знаем, что spark.executor (X) + накладные расходы на память (O) должны быть меньше общего количества, разрешенного для контейнеров в узле, определенном Yarn.nodemanager.resource.memory-mb. Как изменение одного параметра, здесь memory.overhead, решит эту проблему? Если X + O <= Total, если я увеличиваю O, X должно быть уменьшено, верно? Так сложно понять, как увеличение накладных расходов памяти решит проблему. </p>