Как передать время запуска триггера от мастера к вызванным конвейерам - PullRequest
0 голосов
/ 22 марта 2020

интересно, если кто-то может помочь с вопросом ниже, пожалуйста. Я создал конвейер, который выполняет (вызывает) несколько других конвейеров и принимает данные из источника в разные папки озера данных (на основе даты и времени запуска конвейера). Эти данные затем преобразуются с помощью блокнота Data-bricks (скриншот 1). Теперь этот Блокнот использует DateTime, переданный из Trigger, для обработки только самых последних файлов. Когда я запускаю конвейер, создание папки основывается на вызванном конвейере, а не на главном конвейере. Это приводит к ошибке выполнения записной книжки Databrick, поскольку Notebook не может найти папку на основе даты-времени Trigger.Pipeline от Master. Любая идея, как я мог бы передать время Trigger.Pipeline от Master к вызванному (выполненному конвейеру) так, чтобы весь процесс был синхронизирован и использовал время Trigger от Master, а не вызванного конвейера. enter image description here

enter image description here

enter image description here

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...