Как повторно использовать конвейер фабрики данных Azure для нескольких пользователей

Question

У меня есть конвейер фабрики данных Azure, который вызывает записную книжку Databricks. Я параметризовал конвейер, и через этот конвейер я передаю имя продукта в записную книжку Databricks.

В зависимости от параметра Databricks будет помещать sh обработанные данные в указанный c каталог ADLS. Теперь проблема в следующем: как мне сообщить моему конвейеру, какой параметр необходимо передать в блоки данных.

Пример: если я передаю Nike через adf в блоки данных, тогда мои данные будут помещены в каталог Nike или Если я передам Adidas , данные будут помещены в каталог Adidas.

Обратите внимание, что я запускаю ADF из учетной записи автоматизации.

Answer 1

Как я понял, вы используете оператор product_name = dbutils.widgets.get ('product_name') в записной книжке Databricks, чтобы получить параметр, и на основе этого параметра вы обрабатываете данные. Вопрос в том, как передавать в ноутбук разные параметры? Вы создаете один конвейер adf и можете передавать различные параметры триггерам, выполняющим конвейер adf. Создать конвейер ADF конвейер Adf создать триггер, который будет передавать параметры конвейеру ADF триггеры Таким образом у вас будет 1 конвейер ADF с несколькими его экземплярами с разными параметрами, такими как Adidas, Nike и т. Д. c.