«Кажется, этот DAG существует только локально. Главный планировщик, похоже, не знает о его существовании». - PullRequest
Новая
       1

«Кажется, этот DAG существует только локально. Главный планировщик, похоже, не знает о его существовании».

0 голосов
/ 27 июня 2018

Я начинаю экспериментировать с Google Cloud Composer, где развертываю несколько групп DAG:

enter image description here

Один из моих DAG с оператором информации, указывающим This DAG seems to be existing only locally. The master scheduler doesn't seem to be aware of its existence., не может работать, даже вручную. Когда я запускаю его вручную, он остается в состоянии «работает» навсегда и никогда не запускает первую задачу.

Как подробно объясняется ниже, единственное различие между двумя группами обеспечения доступности баз данных заключается в том, что в сломанной используется пользовательский оператор.

У вас есть идеи, что здесь не так и как я могу это исправить?

Спасибо

  1. hello2_gcp_plugins_v2 звонит только bash, и оператор электронной почты работает как положено (я получил письмо). Если я настраиваю scheduler_interval, он начинается как ожидалось. Даже если я установлю интервал планировщика в None, он работает хорошо, когда я запускаю его вручную
  2. hello2_gcp_plugins_v5 вызывает пользовательский оператор, который я уже развернул в ожидаемом сегменте. Пользовательский оператор просто вызывает API через HttpHook, чтобы получить данные и загрузить их в корзину gcs через GoogleCloudStorageHook. Независимо от того, установлен ли интервал планировщика или не установлен ни один, я всегда вижу информационный оператор в пользовательском интерфейсе, и группа DAG никогда не запускается автоматически. При запуске вручную он всегда остается в рабочем состоянии, и первая задача никогда не запускается.

1 Ответ

0 голосов
/ 27 июня 2018

Я отвечаю на свой вопрос, когда я его исправляю, и он может быть полезен, если кто-то еще попадает в ту же проблему.

Даже если это не очевидно, следующая информация This DAG seems to be existing only locally. The master scheduler doesn't seem to be aware of its existence. была вызвана ошибочным использованием оператора в моей группе обеспечения доступности баз данных. В моем случае один из моих пользовательских операторов.

Чтобы отладить его, я нажимаю на DAG -> Графическое представление -> Нажмите на свой пользовательский оператор -> Подробные данные экземпляра задачи, и была отображена трассировка стека ошибки в моем операторе.

Я исправляю своего оператора, загружаю новую версию в корзину GCS и после нескольких обновлений веб-интерфейс больше не упоминал информационное сообщение, и мой DAG работал.

...