Увеличение параллелизма в фабрике данных Azure

Question

У нас есть родительский конвейер, который получает список таблиц и передает его в ForEach. В ForEach мы затем вызываем другой конвейер, передающий в некотором конфиге, этот дочерний конвейер перемещает данные для таблицы, которую он передает как конфиг.

Когда мы запускаем это в масштабе, я часто вижу около 20 экземпляров дочернего элемента конвейер создан в мониторе. Все, кроме 4, будут «в очереди», остальные 4 выполняются как «в процессе». Кажется, я не могу найти настройки для этого предела 4. У нас есть несколько сотен конвейеров, и я действительно мог бы сделать с этим, выполняя больше 4 одновременно. Я установил параллелизм равным 20 для всех конвейеров и задач, поэтому у нас запущено 20 экземпляров. Но я не могу понять, что мне нужно вертеть, чтобы одновременно выполнить более 4-х.

ForEach выглядит следующим образом

действий в ForEach l oop выглядит так

большое спасибо

Answer 1

Я думаю, что нашел это. На дочернем конвейере (тот, который выполняется внутри ForEach l oop) на вкладке «Общие» есть параметр параллелизма. У меня был этот набор 4. Когда я увеличил это до 8, я получил 8, а когда я увеличил его до 20, я получил 20.

Answer 2

Кажется, максимум 20 л oop итерация может выполняться одновременно параллельно. Документация, однако, немного неясна.

Параметр BatchCount, управляющий этим параметром, имеет максимальное значение 50, по умолчанию 20. Но в документации для isSequential указано максимальное значение 20.

В разделе Ограничения и обходные пути документация гласит: « В активности ForEach максимальное количество batchCount 50 для параллельной обработки и максимум 100 000 элементов. "

https://docs.microsoft.com/en-us/azure/data-factory/control-flow-for-each-activity