Azure Фабрика данных - Время выполнения триггера вручную

Question

Я проверял некоторые результаты, предоставленные ADF. Я новичок в этом инструменте и хотел бы больше узнать о времени выполнения, которое я вижу после запуска ETL с триггером или опцией отладки.

У меня вопрос, а почему разница в конце процесса? Отладка составляет почти 25% других. Что происходит, когда я выполняю ETL с опцией триггера, которая увеличивает время обработки по сравнению с отладкой.

Answer 1

Да, если вы поместите поток данных в конвейер и начнете отладку потока данных в предварительном просмотре, вы увидите что-то вроде этого:

Trigger pipeline seems take more times than debug it, but this does not mean that debug has better performance. You just dont count the start time of data flow debug module:

The time that the trigger seems take more time than debug is because the dataflow debug module. Please have a look of this doc:

https://docs.microsoft.com/en-us/azure/data-factory/concepts-data-flow-performance#monitoring -data-flow-performance

Когда вы запускаете конвейер, вам необходимо инициализировать среду выполнения интеграции. На это уйдет много времени. Почему вы отлаживаете конвейер, кажется, занимает меньше времени, потому что вы уже запустили модуль отладки потока данных. Вы можете попробовать закрыть этот модуль отладки, и тогда отладка также займет около 5-6 минут:

введите описание изображения здесь