Выполнение файла Talend. sh в Airflow - ошибка из-за сбоя команды Bash - PullRequest
Новая
       99

Выполнение файла Talend. sh в Airflow - ошибка из-за сбоя команды Bash

0 голосов
/ 13 июля 2020

Я использую Windows Subsytem для Linux

Скопировал папку заданий talend с диска D с помощью команды: cp -R /mnt/d/path /home/path

Изменено .sh разрешение файла с помощью команды: chmod 777 abc.sh
bash команда: "/home/path/abc.sh "
также пробовал bash команду с: '{{"/home/path/abc.sh"}}'

Ручное выполнение задачи как: airflow test abc123 abc123 2020-07-12

Нужна помощь, если я пропустил какой-то шаг

1 Ответ

0 голосов
/ 16 июля 2020 
# this import is used to instantiate dag
from airflow import DAG
# this import is used to run the tasks
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta
#Passing the sh file
execute_command = "/path/execute_sql_script_file_run.sh "
# this is the arguments used by the bash operator
default_args = {
    'owner': 'abc',
    'depends_on_past': False,
    'start_date': datetime(2020, 7, 12),
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    'catchup': False
}
# instantiate a DAG
dag = DAG(
    'abc123', default_args=default_args,schedule_interval="@once")
#task are given some specific arguments we can also override the default_args here.
t1 = BashOperator(
    task_id='abc123',
    bash_command=execute_command,
    dag=dag)

На самом деле ему нужно скопировать всю папку TalendJob (содержит все файлы jar / библиотеки), которая была экспортирована с помощью сборки.
У меня это сработало.

Спасибо
...