Создать универсальную фабрику данных c с несколькими связанными сервисами - PullRequest
0 голосов
/ 19 февраля 2020

Сценарий использования: для создания универсальной фабрики данных c, которая может считывать данные из различных контейнеров BLOB-объектов azure с плоскими файлами в Azure SQL. Я создал конвейер данных, который использует хранимые процедуры для заполнения таблиц Azure SQL.

Проблема. Проблема в том, что я хочу выполнить эту фабрику данных из своего кода и изменить базу данных. и blob-контейнер на лету и выполнить ту же фабрику данных с этими новыми параметрами. Имена таблиц останутся одинаковыми на стороне Azure SQL, а имя файла также останется таким же в хранилище больших двоичных объектов. Изменением будет Контейнер или имя папки внутри Контейнера, которое будет известно заранее.

Пожалуйста, помогите мне или укажите мне, что может помочь мне достичь этого и можно ли вообще этого достичь или нет.

1 Ответ

0 голосов
/ 19 февраля 2020

Вам потребуется использовать параметризованные наборы данных и связанные службы. Определите параметры в конвейере фабрики данных (который вы хотите передать из своего кода, например, имя контейнера или имя папки, строку подключения для SQL azure и строку подключения для хранения больших двоичных объектов). Как только это будет определено - вам нужно будет передать эти значения в нисходящем направлении до тех пор, пока связанная служба не будет

, то есть что-то вроде этого Параметры конвейера> Параметры набора данных> Параметры связанной службы

enter image description here

...