Я новичок в BI, и мне нужна помощь. Я использую windows Jobscheduler для выполнения задач, но иногда он вызывает ошибки, поэтому я перехожу на apache airflow, у меня уже есть файл bat, который выполняет но я хочу использовать его в apache воздушных потоках, это мой файл bat
cd / d D: \ EXMOOV \ Scripts
вызов RunDTS.bat EXMOOV Js_002_MOOV_AIR
Я хочу поместить его в код файла dag, чтобы выполнить его, поэтому я взял пример кода Dag и попробовал поместить его так, чтобы файл стал нечитаемым, а apache airflow не прочитал его, это моя попытка:
from datetime import timedelta
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago
default_args = {
'owner': 'Brahim',
'depends_on_past': False,
'start_date': days_ago(2),
'email': ['airflow@example.com'],
'email_on_failure': False,
'email_on_retry': False,
'retries': 1,
'retry_delay': timedelta(minutes=2),
}
dag = DAG(
'My_first_test_code',
default_args=default_args,
description='A simple tutorial DAG',
schedule_interval=timedelta(days=1),
)
t1 = BashOperator(
task_id='print_date',
bash_command='date',
dag=dag,
)
cd /d D:\EXMOOV\Scripts
call RunDTS.bat EXMOOV Js_002_MOOV_AIR
t2 = BashOperator(
task_id='sleep',
depends_on_past=False,
bash_command='sleep 5',
retries=3,
dag=dag,
)
dag.doc_md = __doc__
t1.doc_md = """\
templated_command = """
{% for i in range(5) %}
echo "{{ ds }}"
echo "{{ macros.ds_add(ds, 7)}}"
echo "{{ params.my_param }}"
{% endfor %}
"""
t3 = BashOperator(
task_id='templated',
depends_on_past=False,
bash_command=templated_command,
params={'my_param': 'Parameter I passed in'},
dag=dag,
)
t1 >> [t2, t3]
Я просто хочу, чтобы те файлы dag, которые прочитали те две строки, вот и все, чтобы выполнить скрипт файла в формате .bat, используемого для выполнения заданий etl в ibm datastage.