airflow: ошибка: нераспознанные аргументы - ошибка планировщика воздушного потока - PullRequest
Новая
       6

airflow: ошибка: нераспознанные аргументы - ошибка планировщика воздушного потока

0 голосов
/ 24 декабря 2018

Я создал группу обеспечения доступности баз данных следующим образом: 

args = {
    'owner': 'airflow',
    'start_date': datetime(2018, 12, 30),
    'retries': 5,
    'retry_delay': timedelta(minutes=30)
}


dag = DAG(
    dag_id='TEST',
    default_args=args,
    schedule_interval=timedelta(minutes=30),
    max_active_runs=1,
    catchup=False)

task_op = DummyOperator(task_id='task', dag=dag)

сохранил ее как my_test.py и загрузил ее в папку группы обеспечения доступности баз данных.

Запустил группу обеспечения доступности баз данных вручную из пользовательского интерфейса, поставленного в очередь.но задача сразу не удается.Для задачи нет журнала, но отображается журнал планировщика.

usage: airflow [-h]
               {resetdb,render,variables,connections,pause,task_failed_deps,version,trigger_dag,initdb,test,unpause,dag_state,run,list_tasks,backfill,list_dags,kerberos,worker,webserver,flower,scheduler,task_state,pool,serve_logs,clear,upgradedb}
               ...
airflow: error: unrecognized arguments: my_test.py

Я никогда не сталкивался с этим раньше.В чем проблема?

Есть похожий вопрос airflow: error: нераспознанные аргументы: веб-сервер , но он совершенно другой.Решение здесь не имеет значения здесь.

Посоветуйте, пожалуйста, в чем тут проблема

1 Ответ

0 голосов
/ 25 декабря 2018

Я думаю, вам следует grep -r 'ArgumentParser' path/to/dags_folder подтвердить, что это не та же проблема, что и другой вопрос и ответ, который вы нашли.Без дополнительного контекста кажется, что это сообщение не будет сгенерировано в журналах планировщика с помощью запланированного dag_run, а скорее с помощью цикла синтаксического разбора dagbag.

Я говорю это, потому что DAG, которым вы поделилисьс добавленным ниже импортом работает нормально на моей установке 1.10. 

from airflow.models import DAG
from airflow.operators.dummy_operator import DummyOperator
from datetime import datetime, timedelta

Возможно, стоит также посмотреть: AIRFLOW-270 , где пробел в имени каталога приводит к такому видуисключение;Я не думаю, что это то, что вы имели с вами, но это стоит исключить.Кроме того, отчет, кажется, показывает, что в v1.7 в предыдущих строках об ошибке регистрировалась полная команда, которая завершилась неудачно, например:

Command 'airflow run cleanup_test select_users 2016-08-03T18:20:38.308518 --local -sd DAGS_FOLDER/Test DAG/test.py ' returned non-zero exit status 2 airflow: error: unrecognized arguments: DAG/test.py [2016-08-03 18:39:54,971: ERROR/MainProcess] Task airflow.executors.celery_executor.execute_command[624cf49c-e765-468e-9227-fd2941ddb779] raised unexpected: AirflowException('Celery command failed',)

In AIRFLOW-2119 показывает, что в v1.9 исходная команда, которая не прошла, выводится ниже строки airflow: error: unrecognized arguments.

...