файл озера данных, чтобы blob низкая производительность

Question

Я использую azcopy для загрузки локальных файлов в хранилище BLOB-объектов.

Я использую команду:

azcopy copy "localpath" "destinationpath(with SAS)" --include="*.csv" --recursive=true

Я также пытался

azcopy sync "localpath" "destinationpath(with SAS)" --include="*.csv"

Файлы, которые я пытаюсь загрузить, имеют размер 1 ГБ +. Когда я вручную загружаю файл в озеро данных, это занимает 40 минут + за 1 файл. Если я делаю это с помощью azcopy, это занимает 30 минут + на файл и часто дает сбой.

Это нормально, что это занимает столько времени? Я делаю что-то не так или есть более быстрый способ сделать это?

Answer 1

Как вы, возможно, знаете, azcopy оптимизирован для лучшей производительности. Я вижу твой код, ничего не пропало. Если это так, мы ничего не можем сделать (или, может быть, вы можете проверить, если это проблема с сетью?).

Вы можете попробовать Azure Data Factory , это обеспечивает очень высокую производительность, котораяможет быть скорость загрузки данных до 1 ГБ / с в Data Lake Storage Gen1.