Как импортировать файлы примеров в мою фабрику данных Azure

Question

Я полагаю, что многие из вас имеют опыт работы с ADF и, возможно, видели пример потоков данных лазури Марка Кромера (https://github.com/kromerm/adfdataflowdocs)

)

Я новичок, особенно использующий ADF и лазурные потоки данных. Мне очень любопытны эти примеры, и я действительно хочу импортировать все ваши файлы примеров (json) в мою недавно созданную фабрику данных. Это должен быть более простой способ, чем создание всех действий, соединений, наборов данных и других данных вручную. Шаблоны, конечно, хороши, но я хочу проверить ваш пример кода на моем портале Azure и на моей фабрике данных.

И только второй вопрос: я, человек из служб SSIS, использовал потоки управления с мастер-пакетами, выполняющими другие пакеты. Когда я сейчас строю хранилище данных в ADF со множеством таблиц измерений и таблиц фактов, лучше ли иметь отдельные потоки данных или мне следует создавать общие потоки данных, которые имеют много параллельных переходов в разные измерения? Я думаю, что мне нужно руководство здесь

Спасибо

С уважением, Гейр

Answer 1

Я публикую эти примеры потоков данных в качестве шаблонов конвейера ADF.

В вашем браузере перейдите в ADF и затем выберите Factory Resources> Pipeline from Template.Вы должны увидеть категорию потока данных.Многие примеры приведены там.

В ADF вы также можете иметь пакеты master / child.Вы будете использовать Execute Pipeline в ADF вместо execute package.

ADF поддерживает повторное использование и обобщение шаблонов потока данных, чтобы вы могли обрабатывать несколько таблиц измерений в одном потоке данных.Вам придется взвесить ценность выполнения этого в сравнении с долгосрочной поддержкой, а также опасность создания очень сложного потока данных.