Я новичок в Airflow, но я не знаю, как правильно публиковать sh новые python скрипты или файлы на сервере airflow. Проблемная часть c: / home / airflow / airflow / dags / scripts / file1.py . Если я создаю новую версию file1.py , я хотел бы распространить эту новую версию на сервере воздушного потока. Простое решение может быть через FTP
Я нашел SFTPOperator , что может быть моим первым шагом в приложении и получить нужную версию моего скрипта.
1) Есть ли лучший подход, чем отдельный шаг в Aiflow?
2) Вторая часть вопроса заключается в том, как обращаться с файлами JAR. Мое решение состоит в том, чтобы опубликовать файл sh jar где-нибудь (например, хранилище Nexus) и иметь отдельный шаг в потоке воздуха, который загружает последнюю версию моего файла.
from airflow import DAG
from airflow.operators import BashOperator,PythonOperator
from datetime import datetime, timedelta
seven_days_ago = datetime.combine(datetime.today() - timedelta(7),
datetime.min.time())
default_args = { ... }
//
f1 = SFTPOperator(...)
dag = DAG('simple', default_args=default_args)
t2 = BashOperator(
task_id='testairflow',
bash_command='python /home/airflow/airflow/dags/scripts/file1.py',
dag=dag)