Запустите программу spark, используя Livy в качестве пользователя ОС

Question

У меня есть керберизованный кластер, и я хочу запускать программы Spark как «пользователь ОС», используя Livy.Использование опции proxyUser только устанавливает пользователя YARN на пользователя прокси, пользователь ОС по-прежнему является Livy.

Если это невозможно, кто-то может указать мне на код Livy, где происходит "spark-submit"создать новое приложение YARN.Я могу проверить, как это можно изменить.

Answer 1

Таким образом, Livy по умолчанию работает в режиме клиента, и в этом режиме драйвер работает как Livy. Я мог бы заставить его работать как олицетворенный пользователь, предоставив LIVY привилегии sudo, а затем запустив его как олицетворенный пользователь.

Самый простой способ - позволить YARN сделать это в режиме кластера. Таким образом, Ливий запускает драйвер как олицетворенный пользователь.