Задания Spark не выполняются в указанной очереди - PullRequest
0 голосов
/ 26 апреля 2018

Я запускаю искровую работу, написанную на Scala.

val conf = new SparkConf().setAppName("BigDataSparkInitialPoc")
conf.set("spark.yarn.queue", "Hive")
val sc = new SparkContext(conf)

Приведенный выше код не передает мой код в очередь под названием «Hive». Вместо этого задание выполняется в очереди по умолчанию

Я зарегистрировался на портале Ambari и убедился, что очередь запущена и работает. На нее выделено 25% ресурсов кластера.

Есть идеи по этому вопросу?

...