Фабрика данных Azure. Как работает экспорт переменных U-SQL в следующий блок в конвейере? - PullRequest
Новая
       39

Фабрика данных Azure. Как работает экспорт переменных U-SQL в следующий блок в конвейере?

0 голосов
/ 02 октября 2018

У меня есть конвейер в фабрике данных Azure с

U-SQL -> ForEach -> Web

.. flow flow.

MyU-SQL в конечном итоге выполнит «выборку» из одного столбца, и я хочу вызвать API для каждой из выбранных строк в одном столбце.

Могу ли я сделать это так?

Если да, как получить переменную, содержащую выбранный вывод запроса в сценарии U-SQL, в фабрику данных Azure?

(чтобы ForEach мог выбрать ее в виде спискаи отправлять каждую запись в веб-окно, которое вызывает API и получает необходимые мне данные)

Прямо сейчас, моя альтернатива - взять поле U-SQL, которое выбирает столбец и экспортирует его в/ Temp в ADLS, а затем имеется один большой блок Cure Azure Batch, который читает файл и вручную для зацикливания строк и запускает вызов API для каждой строки.Я просто надеюсь, что будет более привлекательный способ сделать то же самое в модульном стиле ADF.

1 Ответ

0 голосов
/ 02 октября 2018

Сценарии U-SQL не возвращают данные, поэтому вы на правильном пути.Пакет Azure добавляет еще один уровень сложности, который вам, вероятно, не нужен в этом случае.ADF Операция поиска может считывать хранилище BLOB-объектов и ADLS Gen 1, поэтому ваш конвейер может выполнять следующие действия:

  1. U-SQL Activity выводит столбец в BLOB-объект.
  2. Lookup Activity читает BLOB-объектов.
  3. Foreach Activity зацикливается на результатах поиска.
  4. -> API внутренних вызовов веб-активности.
...