Как запустить Google Cloud Composer DAG на основе последней записи в контрольной таблице - PullRequest
0 голосов
/ 15 февраля 2020

У меня есть группа DAG, которая загружает данные в ни одну из необработанных таблиц. Существует контрольная таблица, в которой хранится список таблиц, и когда они в последний раз обновляются группой DAG. Все это управляется разными ta = eam. Я пытаюсь создать группу обеспечения доступности баз данных, чтобы выполнить запрос к одной из необработанных таблиц и загрузить ее в постоянную таблицу. Я хотел бы запустить группу обеспечения доступности баз данных, как только увижу метку времени последней версии, которая уже обработана в моей контрольной таблице. Я новичок в облаке Composer, пожалуйста, дайте мне знать, как я могу выполнить sh это?

Спасибо

...