Облачный композитор parse json

Question

Я импортировал простой файл json в папку данных . Как лучше всего загружать, анализировать и использовать параметры в json?

Answer 1

Папка gs: // composer-bucket / data объединена с каталогом / home / airflow / gcs / data Airflow (как указано здесь https://cloud.google.com/composer/docs/concepts/cloud-storage#folders_in_the_storage_name_bucket)

Если вам нужно загрузить его, например, в определении задачи PythonOperator, вы можете использовать очень простой следующий код:

import json
with open('/home/airflow/gcs/data/my_file.json', 'r') as f:
    d = json.load(f)

Это один из способов сделать это.

В зависимости от того, что вам нужно загрузить и как вы должны его использовать, вы можете захотеть взглянуть и на переменные воздушного потока вместо файла JSON. (https://airflow.apache.org/concepts.html#variables)