Можем ли мы зарезервировать место для главного приложения на главном узле, чтобы контейнеры задач могли запускаться на главном узле в EMR. И я не хочу его отключать.
Для нас контейнеры задач потребляют максимальное количество памяти в узлах CORE, поэтому большинство заданий остаются в режиме ACCEPTED, поскольку памяти для Spark AM не хватает.
Я понимаю, что есть планировщик емкости параметра (yarn.scheduler.capacity.maximum-am-resource-процент), который определяет максимальный объем памяти, который мастер приложения может получить из узлов ядра, но не смог найти ни одного параметра для минимального объема памяти, зарезервированного для мастеров приложения. для запуска.
Я нашел Qubole в качестве такой функции, но мы не используем Qubole. Как мы можем решить проблему?