У меня странная проблема. Я пытаюсь динамически создавать пакеты (до 100 пакетов с несколькими подзадачами в каждом файле), считывающие данные из конечной точки (список объектов JSON).Но в настоящее время сталкиваются с двумя проблемами
Проблема 1) если я читаю из конечной точки или из файла json, в пользовательском интерфейсе не отображаются прерывания. Они не активируются, и отображается сообщение «Этот DAG недоступен на веб-сервереОбъект DagBag. Он отображается в этом списке, потому что планировщик пометил его как активный в базе данных метаданных "
Проблема 2) Я попытался жестко запрограммировать вывод конечной точки в сценарии dags, и dags отображаются.
Но таска не работает, задачи не выполняются из-за тайм-аута или "dag_id не может быть найден: либо dag не существует, либо он не может проанализировать.".
Когда я перечисляю dagиз CLI я не вижу никаких ошибок даже в журналах.
Это, кажется, работает на предварительном воздушном потоке, но не на облачном компоновщике.
Любая идея, почему знаки не отображаются при чтениииз файла json или из конечной точки?
Как сделать композитора надежным из-за проблем тайм-аута или исключений воздушного потока