Действие фабрики данных Azure выполняется после завершения всех других операций с данными копирования.

Question

У меня есть конвейер Azure Data Factory V2 с несколькими параллельными операциями копирования данных.

У меня есть пауза DW Webhook приостанавливает хранилище данных Azure после каждого запуска.Это действие настроено на выполнение после завершения одного из самых продолжительных действий в конвейере.Конвейер настроен на ночной запуск.

К сожалению, время, затрачиваемое на выполнение операций копирования данных, варьируется, поскольку оно зависит от транзакций, которые были обработаны в бизнесе, и меняется каждый день.Это означает, что я не могу предсказать, какая активность тех, кто работает параллельно, закончится последней.Это означает, что часто происходит сбой всего конвейера, потому что DW был приостановлен до того, как началось выполнение некоторых действий.

Каков наилучший способ выполнения действия только после завершения всех других операций в конвейере?

Я попытался добавить действие If в конвейер следующим образом:

Однако я столкнулся с этой ошибкой во время проверки:

Если условие 1 На выходные данные операции «Копировать небольшие таблицы» нельзя ссылаться, поскольку они не имеют выходных данных.

Кто-нибудь знает, как я могу продвинуть это вперед?

спасибо

Answer 1

Просто организуйте все ваши параллельные действия в направлении PAUSE DWH. Затем он будет выполнен после того, как все ваши действия будут завершены.

Answer 2

Я думаю, что вы можете использовать действие Выполнить конвейер.

Позвольте триггеру указать на новый конвейер, который имеет «Выполнить действие», которое указывает на текущий АПД с действием копирования, пожалуйста, выберите опцию Дополнительно -> Дождаться завершения.Как только конвейер выполнения завершен, он должен перейти к операции webhook, которая должна иметь логику для приостановки DW.

Дайте мне знать, как это происходит.