Прямо сейчас я могу отправлять задания Spark через Livy с помощью команды spark submit, и в команде есть параметр --proxy-user livy, поэтому Livy может выдать себя за искру и запустить ее. Однако я хочу знать, как это сделать без параметра --proxy-user, поскольку у компании тысячи узлов Had oop, и нам не разрешено создавать на них новых пользователей (для тестирования нам пришлось создать пользователя livy * 1003). * на всех рабочих узлах для параметра proxy-user для работы, в противном случае возникнет ошибка о том, что пользователь livy не найден.
В настоящее время я отправляю свою искровую работу через Livy через вызов PEST RESTapi в соответствии с этой документацией: https://livy.incubator.apache.org/docs/latest/rest-api.html, и в разделе POST документации мы видим, что есть параметр proxyUser, и он создает параметр --proxy-user в команде spark submit. Мне нужен способ я не могу использовать proxyUser, но не могу найти способ его отключить. Если я не укажу параметр proxyUser в вызове POST, он все равно автоматически сгенерирует его в команде spark submit как --proxy-user livy, но я не Я не хочу этого.
Кто-нибудь знает, как отключить параметр proxyUser?