Похоже, ваши учетные данные Kerberos не распространяются на рабочие узлы.
Мы столкнулись с той же проблемой после обновления версии Spark с 1.x и 2.x, выяснив, что с более новыми версиями Spark Сам занимается распределением ключей. Для этого мы должны были предоставить параметры --principal и --keytab с помощью команды spark-submit.
В документации Spark есть хороший раздел о Kerberos. Кроме того, в нем говорится о Longßrunning Applications .
Spark поддерживает автоматическое создание новых токенов для этих приложений при работе в режиме YARN. Учетные данные Kerberos необходимо предоставить приложению Spark с помощью команды spark-submit, используя параметры --principal и --keytab.
Предоставленная таблица ключей будет скопирована на компьютер, на котором запущено приложение Master, через Имел oop Распределенный кеш. По этой причине настоятельно рекомендуется, чтобы как YARN, так и HDFS были защищены как минимум с помощью шифрования.
Имя входа Kerberos будет периодически обновляться с использованием предоставленных учетных данных, и будут создаваться новые маркеры делегирования для поддерживаемых.