Я использую задачу копирования ADF для перемещения файлов с сервера SFTP в контейнер Azure Data Lake Gen 2. Доступ к SFTP-серверу осуществляется через автономную среду выполнения, занесенную в белый список. Хотя кажется, что я могу пройти проверку подлинности на сервере sftp, при попытке скопировать файлы я получаю следующее сообщение:
""errorCode": "BadRequest",
Operation failed: Failure happened on 'Sink' side.
ErrorCode=UserErrorUnexpectedDataSize,
Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,
Message=Wrong data count read from <*filename*> offset 0,
expected data count read: 9827, actual data count: 8369.
It could be caused by SFTP server throttle the READ request from ADF.,
Source=Microsoft.DataTransfer.ClientLibrary.SftpConnector"
Чтобы устранить потенциальное ограничение сервера: В задаче копирования я установил максимальное число одновременных подключений равным 1 (вкладка источника и вкладка приемника) и степень параллелизма копирования до 1 (вкладка настроек). Я также попытался установить размер блока приемника на 4 МБ, 50 МБ или 100 МБ (макс.) И включить опцию промежуточного размещения (blob), однако ошибка сохраняется. Аналогичное сообщение появляется в журналах SFTP-сервера.
Заранее благодарим вас за любые советы, которые вы можете предложить.