Масштабирование параллельных копий HTTP в фабрике данных Azure - PullRequest
1 голос
/ 06 октября 2019

Я создал операцию копирования, работающую на автономном IR, который обрабатывает тысячи различных URL-адресов в каждой операции, и масштабировал его еще больше, запустив конвейер внутри другой операции foreach. Каждый URL-адрес загружает уникальное изображение (25 КБ в среднем). Хотя в результате этого я вижу несколько параллельных операций копирования, но я не получаю оптимальную пропускную способность. Операции копирования слишком долго стоят в очереди (в среднем 20 минут), чтобы загрузить файл размером 25 КБ каждый. Снимок экрана IR показывает не слишком высокое потребление ресурсов с другой стороны.

Мой IR ограничивает действия до 1 операции копирования http за один раз?

IRcScreen Grabsenter image description here

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...