Использование фабрики данных Azure для получения входящих данных из REST API

Question

Есть ли способ создать Azure ADF Pipeline для приема входящих POST-запросов? У меня есть это приложение шлюза (за пределами Azure), которое может публиковать sh данные через REST, когда они поступают из приложения, и эти данные должны быть загружены в озеро данных. Я использую вызовы REST из другого конвейера для извлечения данных, но в основном это нужно сделать наоборот - данные будут выталкиваться, и мне нужно постоянно «слушать» эти вызовы ...

Это что-то, что должен сделать конвейер ADF, или, может быть, есть другие Azure компоненты, способные сделать это?

Answer 1

Предыдущий комментарий верен и является одним из подходов, чтобы заставить его работать, но потребуется немного кода (для функции azure).

Также может быть альтернативное решение для удовлетворения ваших требований с Azure Logi c Apps и Azure фабрикой данных.

Шаг 1. Создайте приложение logi c, запускаемое по протоколу HTTP, которое будет вызываться вашим приложением-шлюзом, и данные будут публиковаться в этой вызываемой конечной точке REST.

Шаг 2. Создайте конвейер ADF с параметром. Этот параметр содержит данные, которые необходимо отправить в озеро данных. Это могут быть необработанные данные, которые могут быть преобразованы как этап внутри конвейера перед отправкой их в озеро данных.

Шаг 3. После запуска приложения logi c можно просто использовать фабрику данных Azure действия для вызова конвейера фабрики данных, созданного на шаге 2, и передачи опубликованных данных в качестве параметра конвейера в конвейер ADF.

Так и должно быть - вы можете раскрутить свое решение без кода.

Answer 2

Если ваше внешнее приложение уже отправляет через REST, почему бы ему не сделать вызовы напрямую к API REST Data Lake? Это вырезало бы средние шаги и поставило бы все под свой контроль.

Answer 3

Azure Фабрика данных - это служба пакетного перемещения данных. Если вы хотите передать sh данные через HTTP, вы можете реализовать простую функцию Azure, чтобы принимать данные и записывать их в Azure озеро данных.

См. Azure Обзор HTTP-триггеров и привязок функций