Как повторно выполнить и выполнить конвейер ADF, пока не будут выполнены

Question

Трубопровод ADF должен выполняться ежедневно, скажем, в 03:00 ч.

Но перед выполнением мы также должны проверить, доступны ли источники данных.

Данные предоставляются внешним агентом, он периодически загружает соответствующие данные в каждую исходную таблицу и сообщает нам, когда этот процесс завершается с использованием таблицы флагов: если источник данных 1 готов, он устанавливает флаг в 1.

Я не нахожу способ реализовать эту логику с помощью ADF.

Нам нужно что-то, что, например, в 03.00 ч вызовет «элемент», который проверяет флаги, если флаги недо не запускайте трубопровод.Прошло, скажем, 10 минут, еще раз проверьте флаги и делайте так не более X раз ИЛИ до тех пор, пока флаги не будут установлены.

Если флаги установлены, запустите конвейерное выполнение и прекратите попытки запускадальнейший конвейер.

Как бы вы это сделали?

Логика сама по себе не сложна в любом случае, но я не знаю, где ее реализовать.Стоит ли разрабатывать функции Azure, которые запускают конвейер, или есть способ достичь этого с помощью готовой операции AZDF?

Answer 1

Существует итерационное действие UNTIL, где вы можете проверить, соответствует ли ваше предложение.Пример:

• Ваша функция лазури (AF) проверяет флаг и возвращает 0 или 1.
• Построить конвейер ADF с активностью UNTIL, где вы проверяете выходные данные AF (если 1 делаетчто-то).В деятельности UNTIL вы можете иметь свой шаг процесса.Например, у вас есть переменный флаг, который будет установлен до тех пор, пока активность не станет равной 0. В вашем до тех пор, пока вы не проверите, равно ли оно 1. Если вы выполняете шаг обработки, если нет, поставьте WAIT-активность на 10 минут или около того.

Таким образом, у вас есть возможность в ADF выполнять итерации, пока что-то не будет удовлетворено.Надеюсь, что это поможет вам:)