Задача проверки воздушного потока работает, но в режиме dag выполнить не удается

Question

Мне интересно, почему возможно, что работает следующая команда:

airflow test [dag_id] [task_id] 20200421

, но эта же задача не выполняется, если я вручную запускаю перевод в пользовательском интерфейсе.

Сама задача довольно проста, в основном это:

cmd = 'ls' # other command os.system(cmd)

библиотека os импортируется, и, как сказано выше, при тестировании она работает, но в беге это не так. Мой код находится в python, и этот указанный c dag должен запустить указанную команду c в терминале.

Ты хоть представляешь, как это возможно?

Если вам нужна дополнительная информация, дайте мне знать в комментариях!

Answer 1

Одной из возможных причин такого поведения может быть то, что ваша задача, которая была ранее выполнена, кэширована в БД.

Итак, тест работает, но когда вы вызываете airflow для запуска DAG, он не выполняется, поскольку он уже выполняется в фон или состояние кэшируется в базе данных. Попробуйте запустить $ airflow resetdb