Я пытаюсь запустить мое искровое приложение в локальном режиме из Intellij. Приложение читает текстовый файл из hdfs, используя sc.textFile("hdfs://...")
. Hdfs защищен аутентификацией Kerberos. Я знаю, что вы можете использовать spark launcher и указать Kerberos Keytab и принципал, но для этого мне придется делать sbt assembly
каждый раз, когда я изменяю код и хочу проверить мой chage. Есть ли альтернативный / лучший способ указания файла ключа Kerberos и принципала Kerberos для запуска? Также есть параметр для предоставления информации hdfs namenode?
Спасибо!