мы используем spark 2.0 для приложений с потоковым искром. мы переносим наше приложение в Kerberos Env. Чтобы выполнить аутентификацию Kerberos, прямо сейчас мы поставляем файл keytab, где spark автоматически аутентифицирует и обновляет токен, где и когда это необходимо.
--conf spark.yarn.keytab=user.keytab --conf spark.yarn.principal=user@######.COM --files user.keytab
нам говорят, что пароль пользователя kerberos будет меняться каждую неделю, а новый файл keytab То же имя будет размещено в том же месте. таким образом, в следующий раз приложение Stream Streaming должно обновить токен на основе нового файла keytab, а не старого.
Это сложно для потокового приложения, когда оно непрерывно работает и файл keytab загружается в память. Пожалуйста, дайте мне знать, как мы можем загрузить файл keytab в спарк-память для следующего процесса обновления.