Мой код находится в точке, где я могу успешно аутентифицировать Kerberized Livy для отправки задания Spark, и теперь проблема заключается в том, что в параметрах задания отправки Spark я могу передать только один набор ключей + принципал, и пока Я передаю свою таблицу ключей Spark + принципал, так что задание отправки Spark можно даже отправить, но вскоре после запуска задания Spark я получаю сообщение об ошибке - что-то о неправильном пользователе Yarn, и я не знаю, как это сделать .
Ниже приведена ошибка, которую я получаю. Я гуглил эту ошибку и перепробовал все решения, которые нашел, но пока ничего не получалось.
Вещи, которые я пробовал:
Убедитесь, что пользователь spark существует и что он может аутентификация через keytab + принципал.
Попытка запустить отправку Spark с разными принципалами (имел oop, spark, yarn).
Убедитесь, что пользователь / принципал присутствует на всех Имел oop узлов.
Убедитесь, что мой scala баночка действительна и правильна.
main : run as user is spark
main : requested yarn user is spark
User spark not found
Кстати, почему он говорит, что искра пользователя не найдена? Я проверил свой список пользователей, спарк - один из пользователей.