Динамически генерировать сценарии извлечения из метаданных в USQL

Question

У меня есть требование прочитать информацию метаданных, которая приходит в формате json, и динамически генерировать операторы извлечения для дальнейшего преобразования данных для этой таблицы.

В настоящее время я загрузил информацию метаданных в базу данных SQL Azure.Итак, мне нужно прочитать эти данные и создать операторы извлечения на лету и передать их USQL в качестве параметра.

Нужна некоторая помощь в том, как это сделать, а также в том, является ли это правильным подходом, которыйЯ следую.

Заранее спасибо.

Answer 1

Не приравнивайте выполнение U-SQL к чему-то вроде хранимых процедур в SQL Server: они совершенно разные под прикрытием.Например, передача параметров вроде бы поддерживается, но не так, как вы думаете, а [насколько мне известно] динамические элементы сценария не поддерживаются.

Однако я думаю, что вы могли бы сделать это с помощью фабрики данных Azure (ADF) и некоторого пользовательского кода.

1. ADF выполняет сценарии U-SQL с помощьюссылаясь на большой двоичный объект в хранилище больших двоичных объектов, вы можете создать пользовательское действие ADF ( пакет Azure ), которое считывает ваши метаданные и динамически генерирует сценарий U-SQL для большого двоичного объекта Azure.
2. Как только фабрика данных станет доступной, она сможет выполнить сгенерированный сценарий на основе параметра конвейера, содержащего имя сценария.

Выполнение этого в ADF позволяет динамически выполнять эту сложную операцию.Если вы идете по этому пути, обязательно используйте ADF V2.