Параметры фабрики данных Azure

Question

У меня есть конвейер фабрики данных, который принимает следующие параметры

• Param1
• Имя сервера базы данных 1
• Имя сервера базы данных 2
• Сервер базы данных 1 Имя пользователя
• Сервер базы данных 2 Имя пользователя
• и т.д.

Мой конвейер с помощью некоторой логики решает, с какого сервера базы данных выполнить импорт.

По сути, я хочу развернуть 2 версии моего конвейера. 1 Работает в dev, а другой в prod.

Я хочу выпустить версию конвейера для разработчиков и разработчиков через Azure Devops. Каждый выпуск среды должен предоставлять (через хранилище ключей) значения:

• Имя сервера базы данных 1
• Имя сервера базы данных 2
• Сервер базы данных 1 Имя пользователя
• Database Server 2 Имя пользователя

Первый приз был бы, если бы эти значения даже не отображались как параметры в конвейере. Так что триггеры просто должны предоставить Param1. Кроме того, если вы запускаете конвейер вручную, я просто хочу указать Param1.

РЕДАКТИРОВАТЬ: Обратите внимание, что в конечном итоге я использую параметры в параметризованной связанной службе, если это имеет значение (https://docs.microsoft.com/en-us/azure/data-factory/parameterize-linked-services).

Answer 1

Я думаю, что ключевой идеей для решения вашей проблемы является использование двух отдельных экземпляров фабрики данных.

В среде DEV у вас есть параметризованное соединение, как указано выше.При переносе кода в PROD вы экспортируете шаблон и снова импортируете его в другой экземпляр.Там у вас есть дополнительный файл конфигурации, который заполняет значения, необходимые для правильной настройки соединения.

Если вы хотите избежать сохранения учетных данных в файле конфигурации, просто добавьте связанную службу Azure Key Vault и настройте параметрысекретный идентификатор соответственно.Когда вы импортируете шаблон в PROD, вам даже не нужно указывать какой-либо параметр, кроме идентификатора, секрет которого нужно извлечь из хранилища ключей.

Подробнее см. Здесь:

devopsинтеграция

хранилище ключей интеграция