Конвейер фабрики данных Azure изменял время выполнения

Question

У нас есть около 190 часовых файлов использования, которые должны поступить в озеро данных за 24 часа, прежде чем мы сможем запустить наш конвейер, который начинается с аналитической деятельности.Мы запустили этот конвейер в планировщике в предполагаемое время, когда мы ожидаем, что все файлы поступят, но это не всегда происходит, поэтому нам нужно было бы повторно запустить срезы для отсутствующих файлов.

Есть ли более эффективный способ справиться с этим, чтобы конвейер не работал по расписанию и не запускался по событию, когда все файлы поступили во время передачи данных.

TIA для ввода!

Answer 1

Вы можете добавить триггер события при создании (или удалении) нового BLOB-объекта.Мы делаем это в производстве с помощью приложения логики, но фабрика данных V2, кажется, также поддерживает это сейчас.Преимущество состоит в том, что вам не нужно оценивать правильную частоту, вы можете просто выполнить ее, когда это необходимо.

ПРИМЕЧАНИЕ: существует ограничение на число одновременных конвейеров, которые вы можете выполнять, поэтому, если вы отбросили все190 файлов в хранилище BLOB-объектов одновременно, вы можете столкнуться с проблемами доступности ресурсов.