Где мне создать папку с собственными группами DAG для Airflow? - PullRequest
Новая
       23

Где мне создать папку с собственными группами DAG для Airflow?

0 голосов
/ 08 июля 2019

Я должен работать с Airflow на Windows.Я новичок в этом, поэтому у меня много проблем.

Итак, я уже выполнил все шаги из одного учебника, используя Ubuntu: 

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

Python версия: Python2.7.15 +.

У меня есть папка / home / user_name /, в которой я создал папку AirflowHome.Тогда я сделал: 

nano ~/.bashrc
export AIRFLOW_HOME=~/home/user_name/AirflowHome (#wrote on the last string)

Я запустил 

airflow initdb

в / home / user_name /.

Нужно было сделать это вместо этого в / home / user_name / AirflowHome /?

Я также запустил: 

airflow webserver -p 8080

Он никогда не заканчивался (это хорошо?), Ноказалось, что это сработало, когда я смог добраться до основного окна Airflow.

Я уже пытался поместить папку 'dags' (со своими собственными dags) в 

/home/user_name/airflow/
/home/user_name/AirflowHome/
/home/user_name/.local/lib/python2.7/site-packages/airflow/dag/

Ни один из нихпоказал мой SampleFile.py на веб-сервере Airflow (я проверил dag_id в файле, все в порядке).

Теперь мне нужно понять, где я могу создать папку 'dags', куда я бы поместил все свои группы DAG.

Я был бы очень признателен, если бы вы помогли мне исправить это.

Ответы [ 2 ]

0 голосов
/ 09 июля 2019

Я решил проблему.

В airflow.cfg ставлю dags_folder=/home/user_name/.local/lib/python2.7/site-packages/airflow/example_dags .

Это сработало.

Когда вам нужно добавить файл, поместите его в папку и запустите airflow initdb в убунту. Если вам нужно удалить файл из этой папки, удалите файл, а затем выйдите и войдите в Windows, затем запустите airflow initdb и airflow webserver в Ubuntu.

0 голосов
/ 08 июля 2019

Правильный путь к вашей папке DAG задан в файле airflow.cfg (он расположен в /home/user_name/AirflowHome/airflow.cfg). Проверьте параметр dags_folder (фактически первый).

Он так и не закончился (все в порядке?)

Да, все в порядке. Вы можете добавить параметр -D, чтобы запустить его в фоновом режиме.

Кстати, как я помню, вы должны также запустить airflow scheduler в другом терминале.

...