Как установить YARN очередь для спарк-оболочки?

Question

Я выполняю некоторый SQL-код spark (scala) в оболочке spark.Я хочу знать, какую очередь я использую, и, если возможно, я хочу знать, сколько памяти и исполнителей я использую и как ее оптимизировать?

Answer 1

Вы можете установить имя очереди, количество исполнителей, память исполнителя, общее количество ядер, количество ядер на исполнителя, память драйвера и т. Д. При запуске spark shell или spark-submit

. Здесь вы можете указатьпараметры.

spark-shell --executor-memory 6G --executor-cores 5 --num-executors 20 --driver-memory 2G --queue $queue_name

Вы должны рассчитывать эти параметры в соответствии с мощностью вашего кластера в соответствии с концепцией толстого исполнителя или тонкого исполнителя.

Если вы все еще хотите проверить использование ресурсов, вы можете проверить страницу менеджера ресурсов или страницу веб-интерфейса SPARK

Answer 2

Вы можете контролировать, какую очередь использовать при запуске оболочки оболочки, с помощью параметра командной строки --queue.Если у вас нет доступа к отправке заданий в предоставленную очередь, инициализация спарк-оболочки завершится неудачей.

Аналогично, вы можете указать другие ресурсы, такие как количество исполнителей, память и ядра для каждого исполнителя в командной строке.

Когда вы подаете заявку на использование искры с помощью spark submit, тогда вы также предоставляете то же самое.

Answer 3

Вам следует проверить страницу менеджера ресурсов на наличие пряжи ... Все задания, работающие в кластере, будут перечислены на этой странице.Нажмите на вашу работу, и в деталях этой работы вы получите информацию об очереди