У меня есть две учетные записи хранилища Data lake gen2, и мне нужно рекурсивно передавать около 250 ГБ данных из одной в другую (вся структура файловой системы).Структура файловой системы содержит множество файлов (десятки тысяч).
Я пробовал:
Загрузка данных с помощью AzCopy CLI.
Загрузка данных с помощью обозревателя хранилищ Azure.
Передача данных с использованием фабрики данных Azure.
Все это приводит к одной и той же проблеме - тайм-аут.
Вот ошибка:
Transfer of 'dev/PROJECT/' to 'Z:\XXX' failed: 120000 items transferred,
error: failed to perform copy command due to error: cannot start job due
to error: error listing the files inside the given source url XXX.
...
RESPONSE ERROR (ServiceCode=OperationTimedOut) =====\\nDescription=500
Operation could not be completed within the specified time., Details: (none)\\n
Так что я думаю, это потому, что в файловой системе столько файлов.
Есть ли обходной путь или другой способ сделатьэто?
- ОБНОВЛЕНИЕ -
Я начал вручную загружать папки одну за другой, используя проводник хранилища, и большинство из них были успешно загружены.
Но я столкнулся содна папка, которая имеет несколько мегабайт, и я не могу ее скачать ни за что.Загрузка застряла в «Начальная передача 'dev / XXX / NB054 /' в 'C: \ XXX' (используя имя и ключ)".Но когда я загружаю файлы внутри папки, все в порядке.
Есть идеи?