Импортируйте переменные, используя файл json в Google Cloud Composer - PullRequest
Новая
       9

Импортируйте переменные, используя файл json в Google Cloud Composer

0 голосов
/ 17 января 2019

Как я могу импортировать файл json в Google Cloud Composer с помощью командной строки?

Я попробовал следующую команду 

gcloud composer environments run comp-env --location=us-central1 variables -- --import composer_variables.json

Я получаю сообщение об ошибке ниже 

[2019-01-17 13:34:54,003] {configuration.py:389} INFO - Reading the config from /etc/airflow/airflow.cfg
[2019-01-17 13:34:54,117] {app.py:44} WARNING - Using default Composer Environment Variables. Overrides have not been applied.
Missing variables file.

Но когда я устанавливаю одну переменную с помощью приведенной ниже команды, она работает нормально. 

gcloud composer environments run comp-env --location=us-central1 variables -- --set variable_name variable_value

Поскольку у меня более 75 переменных, которые нужно импортировать, нам нужно импортировать их, используя файл json. Пожалуйста, помогите мне решить эту проблему

1 Ответ

0 голосов
/ 19 января 2019

Следующая команда gcloud composer environments run {environment-name} variables -- --i {path-to-json-file} выполняет airflow variables удаленно внутри воздушного потока. Следовательно, файл json должен быть доступен в модуле рабочего / планировщика Airflow. Поэтому вам сначала нужно скопировать var.json в GCS, а затем запустить команду. Например:

  1. gcloud composer environments storage data import --source=your-var.json --environment={environment-name} --location={location}
  2. gcloud composer environments run {environment-name} --location={location} variables -- --i /home/airflow/gcs/data/your-var.json.
...