Ограничение ADF: количество операций копирования данных в одном конвейере?

Question

• 1000 Для начала создал конвейер с 10 операциями копирования данных (CDA), все параллельно в одном конвейере, и выполнил его. Конвейер ADF просто продолжает работать, не выполняя никаких задач. Когда я уменьшаю CDA до 7, конвейер работает и загружает данные за считанные секунды. Чтобы проверить, есть ли какие-либо ограничения на соединения с базой данных SQL, было выполнено 3 конвейера одновременно с 7 CDA каждый, и он работал.

Вопрос здесь -> Есть ли какие-либо ограничения / ограничения на количество CDA, которые мы может быть в конвейере. Если да, то что можно сделать, чтобы его изменить?

-Спасибо

- РЕДАКТИРОВАТЬ Добавлено решение по применению снимка экрана, предоставленное для изменения свойства для параллельных копий.

введите описание изображения здесь

Answer 1

Да, есть ограничения. Поскольку вы переходите из хранилища файлов BLOB-объектов в Azure SQL БД, для увеличения количества параллельных копий вам необходимо установить свойство parallelCopies.

"activities":[
    {
        "name": "Sample copy activity",
        "type": "Copy",
        "inputs": [...],
        "outputs": [...],
        "typeProperties": {
            "source": {
                "type": "BlobSource",
            },
            "sink": {
                "type": "AzureSQLDBSink"
            },
            "parallelCopies": 32
        }
    }
]

Из хранилища файлов в не- файловое хранилище - при копировании данных в Azure SQL базу данных или Azure Cosmos DB параллельное копирование по умолчанию также зависит от уровня приемника (количества DTU / RU).

• При копировании данных в Azure таблицу, параллельное копирование по умолчанию - 4.

https://docs.microsoft.com/en-us/azure/data-factory/copy-activity-performance-features