Мне нужно создать конвейер фабрики данных для перемещения данных из sftp в хранилище больших двоичных объектов. На данный момент я делаю только POC, и я хотел бы знать, как я буду читать параметры конфигурации и запускать свой конвейер на основе этих параметров конфигурации.
Примером настроек конфигурации будет (обратите внимание, что их будет около 1000):
+--------------------+-----------+-----------+------------------------+----------------+
| sftp server | sftp user | sftp pass | blob dest | interval |
+--------------------+-----------+-----------+------------------------+----------------+
| sftp.microsoft.com | alex | myPass | /myContainer/destroot1 | every 12 hours |
+--------------------+-----------+-----------+------------------------+----------------+
Как запустить конвейер, используя какой-нибудь внешний файл конфигурации / хранилище?