Как выполнить долгосрочную работу Flink, учитывая, что пароль Kerberos меняется?

Question

В обсуждениях по долгосрочным заданиям flink (или spark) пропущено обсуждение того, как избежать сбоя при периодической смене паролей.

Свертывание пароля приведет к аннулированию любых значков клавиш, используемых приложением и заданием. затем произойдет сбой, как только истечет срок действия билета текущего сеанса, который может быть через 24 часа после смены пароля

В данный момент я ничего не вижу в flink для поддержки непрерывного запуска в случае смены пароля.

Приложение выйдет из строя и его придется перепланировать с нуля.

Есть ли какие-либо произведения в этом пространстве, чтобы избежать этого сбоя?

Например, есть ли функция, которая позволит нам периодически обновлять sh keytab? Кто-нибудь делает это?

Answer 1

Flink в настоящее время не поддерживает какие-либо ссылки на клавиши refre sh, и до сих пор не было особого интереса к этой функции. Keytab считается очень долгим и редко меняющимся. Это похоже на роль в AWS, которая используется для получения пароля БД. Пароль часто меняется, но роль почти никогда не меняется.

Таким образом, в настоящее время нет другого способа, кроме как позволить всему приложению выйти из строя и перепланировать его. Если изменения в keytab появляются довольно часто, я бы автоматизировал их и заблаговременно перенёс на нерабочее время. Для более подробных c подсказок вы можете добавить, если вы используете YARN или K8s для запуска Flink.

Если перезапуск не возможен из-за размера состояния и SLA, вы можете попробовать реализовать свои собственные SecurityModule который реализует обновление keytab. В качестве альтернативы вы можете отправить запрос на добавление Jira . Функция с большим количеством голосов становится более быстрой.