У меня есть программа pyspark, для которой spark-submit работает хорошо в режиме клиента или непосредственно в оболочке pyspark, но не работает с ошибкой авторизации 401 при запуске в конфигурации pyspark --master Yarn --deployment-mode.
Сценарии
завершаются неудачно при попытке извлечь контент json с URL, что приводит к ошибке 401 неавторизации.
Программа отлично работает с выполнением в режиме клиента, она использует функцию HTTP_KerberosAuth с модулями request_kerberos.
Может кто-нибудь подсказать, чего здесь не хватает в режиме кластера?