Как настроить параметры уровня проекта в Azure Data Factory V2

Question

Нам нужно настроить параметры уровня проекта, которые будут неоднократно использоваться в каждом из конвейеров в ADF V2. В настоящее время мы повторяем одни и те же параметры в каждом конвейере. Если вообще нужно изменить параметр, мы должны вручную перейти к каждому из триггеров конвейера и исправить их, что утомительно и ошибочно.

Есть ли лучший способ настроить их как параметры уровня проекта, и они будут автоматически инициализироваться и назначаться на фабрике данных при каждом запуске конвейера.

Answer 1

Думая на лету, но рассматривали ли вы чтение БД для получения этого параметра?

Вы можете сделать каждый конвейер для поиска (LookupActivity) в таблице, где есть только одна запись с этимпараметр, а затем установите его (Set Variable Activity) в качестве переменной, затем используйте эту переменную.Если вам вообще нужно изменить этот параметр, просто измените запись в базе данных, и все конвейеры сразу же будут использовать это новое значение в своих следующих выполнениях.

Надеюсь, это помогло!

Answer 2

На основании официального документа конвейер представляет собой логическую группу действий, которые вместе выполняют задачу.Группа конвейеров больше не представляет, так что вы не можете позволить конвейерам совместно использовать один и тот же параметр.

У меня есть обходной путь, используя Выполнение действия конвейера и Установка действия переменной .

Вы можете вызывать другие конвейеры в действии выполнения конвейера. До этого вы могли установить переменную в конвейере.

Затем сбросьте значение в операции Set Variable, чтобы обеспечить одинаковый параметр для всех конвейеров.

Некоторые подробности см. По этой ссылке .