Я также задал очень похожий вопрос здесь .
Во-первых, пожалуйста, проверьте, происходит ли эта ошибка в вашем модуле драйвера или модуле исполнителя.Вы можете сделать это, просматривая журналы драйвера и исполнителей, когда они начинают работать.Несмотря на то, что у меня нет никаких ошибок при работе с искрой, выполняемой только на мастере, я сталкиваюсь с этой ошибкой, когда вызываю исполнителей.Решением является использование изображения коляски .Вы можете увидеть реализацию этого в проекте Ифилоненко , о котором он упоминал в своей демонстрации .
Предпосылкой этого подхода является сохранение маркера делегирования (полученного путем запуска kinit) в общем постоянном томе.Затем этот том можно подключить к модулям драйвера и исполнителя, предоставив им доступ к токену делегирования и, следовательно, керберизованным файлам hdf.Я полагаю, что вы получаете эту ошибку, потому что ваши исполнители в настоящее время не имеют токена делегирования, необходимого для доступа к hdfs.
PS Полагаю, вы уже смотрели документацию Спарк .