Невозможно удалить старые даги в Airflow - PullRequest
Новая
       40

Невозможно удалить старые даги в Airflow

0 голосов
/ 07 августа 2020

Я пытаюсь удалить несколько старых дэгов в воздушном потоке. Я знаю, что с Airflow 1.10.1 вы можете удалить их с помощью пользовательского интерфейса.

введите описание изображения здесь

Несмотря на нажатие на красный крестик, воздушный поток создает, удаляя даг, но позже он появляется снова.

Поскольку у меня есть доступ к БД, я попытался удалить некоторые даги, используя: 

delete from task_fail  where dag_id='';
delete from task_instance where dag_id ='';
delete from serialized_dag  where dag_id='';
delete from xcom where dag_id='';
delete from log where dag_id='';
delete from dag_tag where dag_id='';
delete from job where dag_id='';
delete from task_reschedule where dag_id ='';
delete from sla_miss where dag_id ='';
delete from dag_run where dag_id='';
delete from dag where dag_id ='';

Он делает то же самое, что и пользовательский интерфейс, исчезает и позже появляется снова.

Я читал, что он использует file_name для воссоздания тега, несмотря на изменение имени тега в файле.

Например:

my_file.py -> Dag_id = MY_DAG_ID

my_file.py -> Dag_id = MY_NEW_DAG_ID

Он покажет два дага, MY_DAG_ID и MY_NEW_DAG_ID, и я не могу удалить MY_DAG_ID.

Как я могу это решить? Единственный способ - переименовать или создать новый файл для нового дага?

1 Ответ

1 голос
/ 07 августа 2020

какую версию воздушного потока вы используете? Когда я удаляю его из пользовательского интерфейса, он просит меня удалить файл DAG с моего тома. Я делаю это, а затем через некоторое время (на основе вашего интервала dag refre sh) он очищает DAG. Итак, шаги:

  • удалить из пользовательского интерфейса с помощью красной кнопки
  • Удалить файл DAG из тома, который периодически сканируется.

Сообщите мне .

...