Сохранить обработанную AirFlow DAG - PullRequest
0 голосов
/ 08 января 2019

У меня относительно простой DAG, для демонстрационных целей:

generate_permutations >> process_permutations_subdag >> clean_up

  1. generate_permutations создает текстовый файл
  2. process_permutations_subdag читает, чтобы сгенерировать задачу для каждого в объявлении DAG (используя цикл for)
  3. текстовый файл удален clean_up

Когда я смотрю на графическое представление process_permutations_subdag после задачи clean_up, она не показывает никаких задач (поскольку исходного файла больше нет, а цикл for не выполняется).

Существует ли способ визуализации группы доступности базы данных во время выполнения (без использования доступных в настоящее время файлов), чтобы я мог видеть, какие задачи выполнялись исторически (и сколько времени они занимали на диаграмме Ганта).

В качестве альтернативы, есть ли лучший подход к решению вышеуказанной проблемы?

...