Требуемая память исполнителя превышает максимальный порог этого кластера

Question

Я запускаю Spark на кластере из 8 узлов с пряжей в качестве менеджера ресурсов. У меня есть 64 ГБ памяти на узел, и я установил память исполнителя на 25 ГБ, но я получаю ошибку: Required executor memory (25600MB) is above the max threshold (16500 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'. Я установил yarn.scheduler.maximum-allocation-mb и yarn.nodemanager.resource.memory-mb на 25600, но ничего не меняется.

Answer 1

Память исполнителя - это только куча памяти. Вам все еще нужно запустить JVM, а также выделить часть памяти, не относящуюся к куче, внутри контейнера и разместить ее в YARN. Обратитесь к изображению Как: настроить работу Apache Spark (часть 2) от Sandy Ryza.

Если вы хотите использовать память исполнителя, установленную на 25 ГБ, я предлагаю вам увеличить yarn.scheduler.maximum-allocation-mb и yarn.nodemanager.resource.memory-mb до чего-то более высокого, например, 42 ГБ.