Где и как определяется «Тип приложения» Yarn?

Question

Если кто-то отправляет новые задания в кластер Apache YARN, на странице состояния обычно указывается, как задание действительно было отправлено (среди прочего):

Application Type: SPARK

Это указывает на то, что пользователь, скорее всего, использовал spark-submit для выдачи нового задания менеджеру ресурсов.

Можно ли изменить значение этой строки через параметр таким же образом, как можно изменить имя приложения?

Answer 1

Тип приложения задается, когда Spark устанавливает контекст приложения пряжи.

AFAIK, изменить его невозможно какой-либо конфигурацией. Если это действительно имеет значение, вам придется переопределить его в источнике.

Реализация ниже, https://github.com/apache/spark/blob/01c3dfab158d40653f8ce5d96f57220297545d5b/resource-managers/yarn/src/main/scala/org/apache/spark/deploy/yarn/Client.scala#L241