С потоком воздуха 1.10.3 в Ubuntu 14.04 CTS я нашел два запутанных вопроса, любые разъяснения приветствуются!
- Об ясных аргументах -s и -e, включает ли диапазон дат -e dateили нет ?Какой из них прав, [s, e) или [s, e]? Я обнаружил, что оба они могут произойти.Давайте рассмотрим первый случай [s, e).
airflow clear test_send_mail -s 20190607 -e 20190607 вывод в виде:
[2019-06-18 19:07:20,213] {settings.py:182} INFO - settings.configure_orm(): Using pool settings. pool_size=5, pool_recycle=1800, pid=22414
[2019-06-18 19:07:20,318] {__init__.py:51} INFO - Using executor LocalExecutor
Nothing to clear.
но у него действительно есть dagruns на 20190607. airflow clear test_send_mail -s 20190607 -e 20190608 выводится как:
[2019-06-18 19:16:21,565] {settings.py:182} INFO - settings.configure_orm(): Using pool settings. pool_size=5, pool_recycle=1800, pid=25022
[2019-06-18 19:16:21,663] {__init__.py:51} INFO - Using executor LocalExecutor
You are about to delete these 3 tasks:
<TaskInstance: test_send_mail.mifidw_loan_market_partner_startup 2019-06-07 06:30:00+00:00 [success]>
<TaskInstance: test_send_mail.send_mail_for_mifidw_loan_market_contract_completion1 2019-06-07 06:30:00+00:00 [success]>
<TaskInstance: test_send_mail.send_mail_for_mifidw_loan_market_contract_completion2 2019-06-07 06:30:00+00:00 [success]>
Are you sure? (yes/no):
Теперь давайте посмотрим другой случай [s, е]. airflow clear tutorial1 -s 20190607 -e 20190607 выводится как:
[2019-06-18 19:22:43,768] {settings.py:182} INFO - settings.configure_orm(): Using pool settings. pool_size=5, pool_recycle=1800, pid=26819
[2019-06-18 19:22:43,865] {__init__.py:51} INFO - Using executor LocalExecutor
You are about to delete these 3 tasks:
<TaskInstance: tutorial1.print_date 2019-06-07 00:00:00+00:00 [success]>
<TaskInstance: tutorial1.sleep 2019-06-07 00:00:00+00:00 [success]>
<TaskInstance: tutorial1.templated 2019-06-07 00:00:00+00:00 [success]>
Are you sure? (yes/no):
Так это ошибка для очистки CLI?
И я тоже нахожу один странный предмет.У меня есть один dagrun на 20190531, созданный командой CLI 'airflow trigger', но он не может быть указан в команде clear с 'airflow clear tutorial1 -s 2019-05-30 -e 2019-06-01', выводится как:
airflow clear tutorial1 -s 2019-05-30 -e 2019-06-01
[2019-06-18 20:23:29,126] {settings.py:182} INFO - settings.configure_orm(): Using pool settings. pool_size=5, pool_recycle=1800, pid=13561
[2019-06-18 20:23:29,222] {__init__.py:51} INFO - Using executor LocalExecutor
You are about to delete these 3 tasks:
<TaskInstance: tutorial1.print_date 2019-06-01 00:00:00+00:00 [success]>
<TaskInstance: tutorial1.sleep 2019-06-01 00:00:00+00:00 [success]>
<TaskInstance: tutorial1.templated 2019-06-01 00:00:00+00:00 [success]>
Are you sure? (yes/no):
Пока он находится здесь в таблице dag_run:
Об очистке дагруна, созданного командой backfill.Я попытался запустить эту команду: airflow clear test_send_mail -s 20190601 -e 20190602
Перед тем, как запустить ее, в таблице dag_run на дату 20190601 есть 2 dagrun, один run_id с префиксом «backfill», а другой с префиксом «manual»:
Когда я запускаю над командой, dagrun, run_id которого начинается с 'backfill', продолжает работать без конца, это кажется чем-то вонючим.Вот состояние в таблице dag_run:
Это ожидаемое поведение?Команда clear не может работать на существующем старом dagrun, созданном командой backfill?