импортировать файл из подпапки dag в airflow

Question

Я пишу скрипт на python, который вычисляет что-то. Именно поэтому скрипт отделен от папки dags. В этом сценарии я должен импортировать файл. Но у меня нет успеха, так как это ошибки FileNotFoundError .

Это мой каталог:

dags/
- my_dag.py
  sub_folder/
  - __init__.py
  - my_functions.py
    meta/
    - file.csv

my_functions.py содержит вычислительные скрипты, необходимые для моей группы DAG. Он должен прочитать файл file.csv , расположенный в папке meta .

В my_functions.py я написал:

file_df = pd.read_csv('meta/file.csv')

Но файл не найден.

Answer 1

Используйте AIRFLOW_HOME переменную env и укажите полный путь.

import os
AIRFLOW_HOME = os.getenv('AIRFLOW_HOME')
file_df = pd.read_csv(AIRFLOW_HOME + '/dags/sub_folder/meta/file.csv')