Воздушный поток на k8s и Google Operators: проверка кредитов

Question

У меня Apache Airflow на k8s.

Раньше, когда Airflow работал на моем локальном сервере (не на k8s), у меня не было проблем с проверкой кредитов oauth2: когда Google Operators (на основе GoogleCloudHook ), браузер открывается и перенаправляет меня на страницу аутентификации Google. Это была разовая процедура.

С Airflow на k8s мои задачи выполняются на отдельных модулях и возникают проблемы с проверкой кредитов oauth2, я не могу открыть браузер внутри модуля, и я не хочу делать это каждый время, когда моя задача будет запущена.

Можно ли как-то отключить эту процедуру или автоматизировать ее?

Есть ли решение?

Answer 1

Для аутентификации вы должны сначала использовать правильного оператора и исполнителя в Airflow. В вашем случае это будет исполнитель Kubernetes. При использовании этого исполнителя вам нужно настроить secret / s для использования с k8s. См. Документацию здесь Kubernetes Executor
Обзор