Облако Google composer: задачи, которые не выполнялись при запланированном запуске, но успешно выполнялись при ручном запуске

Question

У меня DAG с несколькими заданиями. Когда DAG выполняется планировщиком, он получает состояние running, но все задачи в DAG не имеют статуса. Но если тот же DAG выполняется вручную (Trigger Dag нажатие кнопки) - задачи становятся queued->running->success. Я попытался проверить журналы Stackdriver на наличие «Cloud Composer Environment», но не нашел никаких подозрительных записей в журнале. Также проверили журналы задач в интерфейсе воздушного потока - они были пустыми.

Почему запланированные запуски зависают? Как я могу выяснить причины запланированных проблем с группами доступности баз данных?

Answer 1

Причина была start_date парам. Он был рассчитан следующим образом:

START_DATE = datetime.datetime.now() - datetime.timedelta(hours=1)
dag = airflow.DAG(
        'data_transfer_dag',
        'catchup=False',
        default_args = {
            'owner': 'Zufar',
            'depends_on_past': False,
            'email': [''],
            'email_on_failure': False,
            'email_on_retry': False,
            'retries': 1,
            'retry_delay': datetime.timedelta(minutes=5),
            'start_date': START_DATE,
        },
        schedule_interval=datetime.timedelta(hours=1)
)

Исправлено использование жесткого дня: START_DATE = datetime.datetime(2020,1,1). Поэтому он не может быть рассчитан на основе текущего времени. Просто используйте жестко запрограммированную дату прошлого.