Ускорение копирования больших двоичных объектов на Azure - PullRequest
Новая
       9

Ускорение копирования больших двоичных объектов на Azure

0 голосов
/ 12 ноября 2018

У меня есть сценарий использования, который часто требует копирования большого двоичного объекта (файла) из одного региона Azure в другой. Размер файла составляет от 25 до 45 ГБ. Излишне говорить, что иногда это происходит очень медленно, с непоследовательной производительностью. Это может занять до двух часов, иногда больше. Расстояние играет роль, но оно отличается. Даже в пределах одного региона копирование происходит медленнее, чем я ожидал. Я пытался:

  1. Python SDK и его метод копирования BLOB-объектов из службы BLOB-объектов.
  2. Остальные BLOB-копии API *
  3. az копия из CLI.

Хотя я и не ожидал разных результатов, поскольку все они используют одни и те же методы бэкэнда.

Есть ли какой-то подход, который мне не хватает? Есть ли какой-нибудь способ ускорить этот процесс или какой-либо другой тип совместного использования блобов, интегрированный в Azure? Совместное использование VHD / диска также может помочь.

Ответы [ 2 ]

0 голосов
/ 04 июля 2019

В Linux вы можете попробовать использовать параметр --parallel-level.Попробуйте найти его с помощью azcopy --help.Кроме того, максимальный предел операции составляет 512 официально.Иди помешался!

0 голосов
/ 13 ноября 2018

Вы можете попробовать опцию /SyncCopy в AzCopy :

Синхронное копирование больших двоичных объектов из одной учетной записи хранения в другую

AzCopy по умолчанию копирует данные между двумя конечными точками хранения асинхронно. Поэтому операция копирования выполняется в фоновом режиме с использованием резервной пропускной способности, у которой нет SLA с точки зрения скорости копирования большого двоичного объекта, и AzCopy периодически проверяет состояние копирования до тех пор, пока копирование не будет завершено или завершится неудачей.

Опция /SyncCopy обеспечивает постоянную скорость копирования. AzCopy выполняет синхронное копирование, загружая большие двоичные объекты для копирования из указанного источника в локальную память, а затем загружая их в место хранения BLOB-объектов. 

AzCopy /Source:https://myaccount1.blob.core.windows.net/myContainer/ /Dest:https://myaccount2.blob.core.windows.net/myContainer/ /SourceKey:key1 /DestKey:key2 /Pattern:ab /SyncCopy

/SyncCopy может привести к дополнительным выходным расходам по сравнению с асинхронным копированием. Рекомендуется использовать этот параметр в виртуальной машине Azure, которая находится в том же регионе, что и исходная учетная запись хранения, чтобы избежать исходящих затрат.

...