Передача ключевой таблицы Kerberos и основной в спарке конф - PullRequest
1 голос
/ 27 июня 2019

Я пытаюсь запустить мое искровое приложение в локальном режиме из Intellij. Приложение читает текстовый файл из hdfs, используя sc.textFile("hdfs://..."). Hdfs защищен аутентификацией Kerberos. Я знаю, что вы можете использовать spark launcher и указать Kerberos Keytab и принципал, но для этого мне придется делать sbt assembly каждый раз, когда я изменяю код и хочу проверить мой chage. Есть ли альтернативный / лучший способ указания файла ключа Kerberos и принципала Kerberos для запуска? Также есть параметр для предоставления информации hdfs namenode?

Спасибо!

1 Ответ

0 голосов
/ 27 июня 2019

Во-первых, вы можете предоставить эти параметры при создании SparkSession (, описанный здесь ).

Второй вариант - передать принципал и таблицу ключей в качестве аргументов командной строки вашего приложения.

...