Почему не выполняется задание внутри моего DAG?

Question

Я запланировал запуск групп DAG с воздушным потоком, в каждом из них есть одна задача. Когда DAG запускаются, задачи внутри них не выполняются.

Вот мой код для того же (я пытаюсь SSH подключиться к серверу EC2 и выполнить команду bash) :

from datetime import timedelta, datetime
from airflow import DAG
from airflow.contrib.operators.ssh_operator import SSHOperator


default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'email': ['removed@example.com'],
    'email_on_failure': True,
    'email_on_retry': True,
    'start_date': datetime.now() - timedelta(days=1),
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
}

dag = DAG(dag_id='back_fill_reactivated_photo_dimension',
          default_args=default_args,
          schedule_interval='55 * * * *',
          dagrun_timeout=timedelta(seconds=120))

t1_bash = """
/usr/local/bin/dp/database_jobs/run_py.sh "backfill_photo_dim_reactivated.py"
"""

t1 = SSHOperator(
    ssh_conn_id='ssh_aws_ec2',
    task_id='backfill_photo_dim',
    command=t1_bash,
    dag=dag)

Интерфейс Airflow показывает, что DAG находится в рабочем состоянии, но фактическая задача внутри DAG никогда не выполняется, я что-то упустил в своем коде?

Кроме того, есть ли способ принудительно запустить DAG независимо от расписания CRON?

Answer 1

Нет ничего плохого в том, что вы проверяете ваши настройки. Можете ли вы поделиться своим cfg файлом

Answer 2

Задание, застрявшее в «расписании», обычно означает, что у вас нет пула или очереди нет.Вы используете местного исполнителя?если да, работает ли планировщик?

Вы можете принудительно запустить (или проверить) задачу с помощью командной строки.

Answer 3

Скорее всего, у вас не работает scheduler.

Запустите airflow scheduler -D, чтобы превратить его в фон. Это должно решить проблему.