Есть ли способ использовать маркер делегирования hdfs, поставляемый с помощью spark, для других соединений hdfs в spark submit? - PullRequest
0 голосов
/ 07 января 2020

Вот сценарий: у меня есть приложение python, которое запускает spark, и я развертываю его с помощью spark submit. spark может получить доступ к hdfs, но когда я пытаюсь получить доступ с помощью пакета hdfs python (например, для mkdir), у меня возникает проблема аутентификации, как будто на машине с драйверами нет kinit. Есть ли способ экспортировать токен делегирования hdfs из контекста spark и использовать его для «кинитирования» компьютера драйвера?

...