Как очистить сбой DAG с помощью CLI в потоке воздуха - PullRequest
Новая
       11

Как очистить сбой DAG с помощью CLI в потоке воздуха

0 голосов
/ 02 мая 2018

У меня есть несколько неудачных DAG, скажем, с 1 по 20 февраля. С этой даты все они преуспели.

Я попытался использовать cli (вместо того, чтобы сделать это двадцать раз с веб-интерфейсом):

airflow clear -f -t * my_dags.my_dag_id

Но у меня странная ошибка: 

airflow: error: unrecognized arguments: airflow-webserver.pid airflow.cfg airflow_variables.json my_dags.my_dag_id

РЕДАКТ. 1:

Как объяснил @ tobi6, * действительно вызывал проблемы. Зная это, я попробовал эту команду вместо: 

airflow clear -u -d -f -t ".*" my_dags.my_dag_id

, но он возвращает только неудачные экземпляры задач (флаг -f). Флаги -d и -u, похоже, не работают, потому что экземпляры задач после и после сбоя игнорируются (не возвращаются).

РЕДАКТИРОВАТЬ 2:

, как предложено @ tobi6, с использованием разрешений -s и -e для выбора всех прогонов DAG в пределах диапазона дат. Вот команда: 

airflow clear  -s "2018-04-01 00:00:00" -e "2018-04-01 00:00:00"  my_dags.my_dag_id.

Однако, добавление флага -f к команде выше возвращает только неудачные экземпляры задачи. Можно ли выбрать все экземпляры невыполненных задач из всех неудачных прогонов DAG в диапазоне дат?

1 Ответ

0 голосов
/ 02 мая 2018

Если вы используете звездочку * в Linux bash, она автоматически расширит содержимое каталога.

Это означает, что он заменит звездочку всеми файлами в текущем рабочем каталоге, а затем выполнит вашу команду.

Это поможет избежать автоматического расширения: 

"airflow clear -f -t * my_dags.my_dag_id"
...