DAG не выполняется, но находится в списке list_dag - PullRequest
0 голосов
/ 05 июля 2018

Я запускаю поток воздуха в контейнере внутри codebuild, в настоящее время он выполняет все, кроме части, чтобы вызвать сбой группы DAG.

      - sudo sh scripts/setup.sh
      - pipenv --three install
      - airflow initdb
      - airflow scheduler > ~/scheduler.log 2>&1 &
      - airflow list_dags -sd $(pwd)/dags
      - airflow trigger_dag -sd $(pwd)/dags Pampa

И когда я использую list_dags, он показывает

-------------------------------------------------------------------
DAGS
-------------------------------------------------------------------
Pampa

Но он не выполняет DAG.

airflow trigger_dag -sd $(pwd)/dags Pampa

[2018-07-05 20:04:36,495] {__init__.py:45} INFO - Using executor SequentialExecutor 
[2018-07-05 20:04:36,556] {models.py:189} INFO -
Filling up the DagBag from /codebuild/output/src188373663/dags
Traceback (most recent call last):   File "/usr/local/bin/airflow",
line 27, in <module>
    args.func(args)   File "/usr/local/lib/python3.6/site-packages/airflow/bin/cli.py", line 199,
in trigger_dag
    execution_date=args.exec_date)   File "/usr/local/lib/python3.6/site-packages/airflow/api/client/local_client.py",
line 27, in trigger_dag
    execution_date=execution_date)   File "/usr/local/lib/python3.6/site-packages/airflow/api/common/experimental/trigger_dag.py",
line 27, in trigger_dag
    raise AirflowException("Dag id {} not found".format(dag_id)) airflow.exceptions.AirflowException: Dag id Pampa not found

1 Ответ

0 голосов
/ 13 июля 2018

Ошибка была в $ AIRFLOW_HOME, который указывал путь к папке ниже:

$ AIRFLOW_HOME / home / ubuntu

Но dags был в / home / ubuntu / airflow / dags /, поэтому он не может найти dags, он просто может найти dags, когда я указываю -sd и путь к подпапке в list_dags.

Мне нужно изменить способ получения $ AIRFLOW_HOME.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...