Время очереди ADFv2

Question

У меня есть конвейер с несколькими операциями копирования.Некоторые из этих действий отвечают за копирование больших объемов данных из учетной записи хранения в ту же учетную запись хранения, но в сжатом виде (я говорю о нескольких ТБ данных).

После запуска конвейерав течение нескольких часов я заметил, что некоторые действия показывают время «очереди» на блейде мониторинга, и мне было интересно, что может быть причиной этого времени «очереди».И что еще более важно, если мне выставляют счет за это время еще и потому, что, насколько я понимаю, мой АПД ничего не делает.

Может кто-нибудь пролитьсвет?:)

Answer 1

(Публикация этого ответа из-за ограничения количества комментариев)

После долгого обсуждения со службой поддержки Azure и обращения к кому-то из команды разработчиков ADF я получил несколько ответов:

1 - Время очереди не оплачивается.

2 - Первоначально система ADF оркестровки помещает задание в очередь и получает «время очереди», пока инфраструктура не заберет его и не запустит обрабатывающую часть.

3 - В моем случае время очереди увеличивалось после запуска задания из-за ошибки в базовом бэкэнд-исполнителе (он использует пакет Azure).Судя по всему, исполнители терпели крах, а моя работа страдала от времени «повторного пикапа», что увеличивало время очереди.Это объясняет, почему через некоторое время я начал видеть, что время выполнения и передаваемые данные уменьшаются.ETA для этого исправления находится в конце месяца.Кроме того, тайм-аут работы, которую я выполнял, истек (через 7 дней), и после проверки счета я подтвердил, что с меня не взяли ни копейки.

Answer 2

fgbaezp.Основываясь на диаграмме в этом ADF Monitor , вы можете найти те же самые метрики в примере.

Фактически,это метрики в параметре executionDetails. Queue Time+ Transfer Time= Duration Time.

Более подробно рассматриваются этапы копирования, а также соответствующие шаги, продолжительность, используемые конфигурации и т. д. Не рекомендуется анализировать этот разделкак это может измениться.

Пожалуйста, обратитесь к Параллельное копирование , операция копирования создаст параллельные задачи для внутренней передачи данных.Все действия находятся в активном состоянии как во время очереди, так и во время передачи, и никогда не останавливаются во времени очереди, чтобы она оплачивалась в течение всего периода времени.Я думаю, что это неизбежная потеря в процессе передачи данных, и она была переварена внутренним adf.Вы можете попытаться изменить параметр parallelCopies, чтобы посмотреть, изменится ли что-либо.

Если вы действительно относитесь к стоимости, вы можете отправить отзыв здесь , чтобы запросить заявления от группы Azure.

Надеюсь, это поможет вам.