Секреты в облаке Google

Question

Мы хотим создать рабочую среду для воздушных потоков, но не знаем, как правильно обращаться с секретами, в частности с файлами JSON клиента Google BigQuery

Мы попытались настроить секреты kubernetes на автоматически созданном кластере kubernetes (автоматически путем создания среды облачного композитора Google (airflow)). В настоящее время мы просто помещаем файлы в корзину, но хотели бы лучшего способа.

def get_bq_client ():
    """ returns bq client """
    return bq.Client.from_service_account_json(
        join("volumes", "bigquery.json")
    ) 

Нам нужна какая-то форма правильного управления необходимыми секретами. К сожалению, использование Airflow Variables не сработает, потому что мы не можем создать клиентский объект, используя файл json как текст

Answer 1

Одно из возможных решений - зашифровать файлы JSON и поместить их в корзину. Пока ключ дешифрования существует в корзине и больше нигде, вы сможете просто зарегистрировать код с секретами для некоторого контроля исходного кода, а также в проверке и дешифровании корзины.