Конвейер CI / CD для фабрики данных V1 с использованием VSTS

Question

Я работаю над созданием всего конвейера CI / CD для моего проекта Фабрика данных V1 . Я использую VSTS для реализации.

Я могу выполнить большую часть своей задачи через VSTS, которая требуется для развертывания, однако я не могу определить, возможно ли полностью реализовать непрерывное развертывание в моем проекте.

У меня есть один общий файл решения, отвечающий за хранение 4 различных проектов фабрики данных, и каждый проект содержит 4 конвейера потока данных каждый.

Проблема встречается не каждый раз, когда все решение развертывается в более высокой среде. у нас есть конкретные конвейеры для развертывания в каждом развертывании.

Можно ли развернуть конкретные конвейеры, т.е. выбрать один из каждого проекта и развернуть их заранее, используя конвейер выпуска.

Если да, как мы собираемся реализовать его в конвейере выпуска vsts и будет ли он инкрементным?

Answer 1

Пожалуйста, посмотрите на этот блог , что может быть полезно. Автор использует сопоставимый метод для развертывания. Перед развертыванием файлов JSON с помощью команды PowerShell отредактируйте их, чтобы вставить специфичные для среды значения в определения фабрики данных. Вы можете передать эти значения в качестве параметров из конвейера развертывания VSTS.

Также взгляните на этот блог: Развертывание фабрики данных Azure с помощью PowerShell

Если вы хотите управлять определенными конвейерами, вы можете использовать некоторые сторонние расширения, такие как это - Azure Data Factory

Управление конвейерами фабрики данных Azure. Эту задачу выпуска можно добавить в конвейер выпуска, чтобы приостановить или возобновить все конвейеры фабрики данных Azure.

Answer 2

Это документ для ADF V2 Непрерывная интеграция и развертывание с помощью ADF V2 UI это позволит вам связать VSTS-репозиторий с вашей фабрикой данных Azure.