Как предотвратить переход внешних наборов данных в состояние ошибки проверки в ADFv1? - PullRequest
0 голосов
/ 04 мая 2019

Вопрос специально для Azure Data Factory v1.

Сценарий: У меня есть внешний набор данных источника (тот же ADF не создает его, какой-то внешний процесс отвечает за создание большого двоичного объекта) типа AzureBlob, а выходной набор данных для действия также имеет тип AzureBlob.

Теперь, если появляется путь к папке для исходного набора данных, действие должно начинаться всякий раз, когда он запланирован к запуску, но если путь к папке не появляется, это не должно вызывать сбой исходного набора данных (происходит сбой, когда он расписание и исходный путь к папке не существует), в этом случае он должен ждать вечно

Если у меня есть конвейер с активностью типа HDInsighthive, есть ли способ, которым мы можем достичь этого?

Я знаю, что сам конвейер остается в состоянии ожидания выполнения, если исходный путь не существует, но с практической точки зрения ошибки проверки набора исходных данных вызывают всевозможные производственные оповещения и т. Д. Я просто хочу, чтобы конвейер всегда ожидал отсутствующего источника пути.

...