Функции Azure в качестве планировщика

Question

Является ли функция Azure хорошей альтернативой фабрике данных Azure для использования в качестве планировщика?Он имеет триггер BLOB-объектов для мониторинга и может использовать C # для запуска заданий блока данных с использованием API.Но это жизнеспособная альтернатива.

Отредактировано, чтобы добавить больше информации.Требуется запустить задание на блоки данных на основе файла триггера, но не нужно использовать фабрику данных Azure или задание на блоки данных.

Answer 1

Я бы, вероятно, использовал простое приложение логики с триггером Event Grid для события, создаваемого BLOB-хранилищем.Основываясь на данных триггера, я бы назвал Databricks Job REST API.

Я сделал всю демонстрацию ниже, работая менее чем за 10 минут, поэтому ее быстрая настройка.

В этой демонстрации я использовал

И приложение логики настроено как триггер

Где я настоятельно рекомендую добавитьфильтр префиксов, такой как

/blobServices/default/containers/<container_name>

Таким образом, вы не запускаете слишком много логических приложений из разных контейнеров, поскольку сетка событий реагирует на все события во всей учетной записи хранения.

И HTTP-вызов, например,

Конечно, на этом этапе просто измените список кластеров на отправку вызова REST задания.

И посмотрите на выполнение как

Просто убедитесь, что поставщик ресурсов EventGrid зарегистрирован, или приложение логики никогда не отключится.