Azure Разница между временем длительности в фабрике данных

Question

Я новичок в Azure Фабрике данных. Раньше я работал с SSIS и Pentaho. Недавно я начал использовать этот инструмент для создания некоторого ETL и заметил некоторые различия между значениями времени, указанными в конце процесса. Поэтому мне интересно, что они означают (Продолжительность - Время обработки - Время), и особенно почему большая разница между продолжительностью и временем обработки, является ли эта разница стандартным временем подготовки для инструмента или чем-то в этом роде?

С уважением

Answer 1

Когда вы читаете время «Продолжительность» в верхней части снимка экрана, это означает, что оно является сквозным для активности конвейера. При этом учитываются все факторы, такие как маршалинг сценария потока данных из ADF в кластер Spark, время получения кластера, выполнение задания и время записи ввода-вывода.

В нижней части снимка экрана указано количество время, затраченное Spark на этом этапе вашего преобразования logi c, которое представляет собой все фреймы данных в памяти.

Время записи показано в плане выполнения потока данных в преобразовании Sink, а время сбора кластера равно показано вверху.