Данные из конечной точки HTTP для загрузки в озеро данных Azure с помощью фабрики данных Azure

Question

Я пытаюсь создать так называемое «современное хранилище данных», используя службы Azure.

Первый шаг - собрать все данные в их собственном необработанном формате в хранилище озера данных Azure. Для некоторых источников данных у нас нет другого выбора, кроме как использовать API для потребления данных. При поиске информации не так много, поэтому спрашиваю.

Можно ли определить 2 веб-активности в моем конвейере, которые будут обрабатывать сценарий ниже?

1. Деятельность Web1 получает URL API, созданный из C # (функция Azure). Он возвращает данные в формате JSON и сохраняет их в Web1.Output - все работает нормально.
2. Деятельность Web2 использует Web1.Output и сохраняет его в озере данных Azure в виде простого текстового файла (PUT или POST) - это необходимо.

Вышеописанный сценарий реализуется с помощью операции копирования, но тогда я не могу передать динамический URL-адрес, созданный функциями Azure. Как сохранить вывод JSON в ADL? Есть ли другой способ?

Спасибо!

Answer 1

Поскольку вы используете хранилище больших двоичных объектов в качестве посредника и хотите использовать этот большой двоичный объект при создании, вы можете воспользоваться Триггерами событий . Вы можете настроить триггер события для запуска конвейера, содержащего активность Web2. Который запускается, когда действие Web1 завершается (отдельный конвейер).

Путем разделения двух действий на отдельные конвейеры рабочий процесс становится асинхронным. Это означает, что вам не нужно ждать завершения обоих действий, прежде чем перейти к следующему URL. Также есть много других преимуществ.