Установить теги приложения Cloudera для приложения Spark

Question

Я установил spark.yarn.tags в своем искровом приложении, и это видно и в моей конфигурации при печати.Но менеджер Cloudera не может обнаружить его в application_tags поле приложения пряжи.

Сопоставляется ли application_tags с spark.yarn.tags для искровых приложений?

Answer 1

Я думаю, что нашел решение.Когда во время вызова spark-submit устанавливается spark.yarn.tags, менеджер cloudera обнаруживает его.Поэтому я считаю, что это требуется для создания контекста spark, поэтому при отправке его необходимо передать как conf.

Вот как его можно передать в spark-submit --conf spark.yarn.tags=tag-name