Как настроить кластер пряжи для параллельного выполнения Приложений?

Question

Когда я запускаю искровое задание на кластере пряжи, приложения выполняются в очереди. Итак, как я могу работать в параллельном количестве приложений?

Answer 1

Полагаю, ваш планировщик YARN установлен на FIFO. Пожалуйста, измените его на FAIR или планировщик емкости. Планировщик Файра пытается распределить ресурсы, чтобы все работающие приложения получали одинаковую долю ресурсов.

Планировщик емкости позволяет совместно использовать кластер Hadoop организационные линии, в соответствии с которыми каждой организации выделяется определенный емкость всего кластера. Каждая организация создана с выделенная очередь, настроенная на использование заданной доли емкость кластера. Очереди могут быть далее разделены на иерархические мода, позволяющая каждой организации делиться своим кластерным пособием между различными группами пользователей в рамках организации. В пределах очередь, приложения планируются с использованием FIFO-планирования.

Если вы используете планировщик емкости, В спарк прислать упомянуть вашу очередь --queue queueName

Пожалуйста, попробуйте изменить это свойство планировщика емкости

yarn.scheduler.capacity.maximum-Applications = any number

это решит, сколько приложений будет работать параллельно

Answer 2

По умолчанию Spark получает все доступные ресурсы при запуске задания.

Вы можете ограничить количество ресурсов, потребляемых для каждого задания, с помощью команды spark-submit.

Добавьте опцию "--conf spark.cores.max = 1" для спарк-отправки. Вы можете изменить количество ядер в соответствии со своей средой. Например, если у вас всего 100 ядер, вы можете ограничить одно задание 25 ядрами или 5 ядрами и т. Д.

Вы также можете ограничить объем используемой памяти: --conf spark.executor.memory = 4g

Вы можете изменить настройки через spark-submit или в файле conf / spark-defaults.conf. Вот ссылка с документацией:

Конфигурация искры