Регулирование хранилища BLOB-объектов Azure

Question

Мы пытаемся переместить некоторые данные из одной из наших учетных записей для хранения больших двоичных объектов, и мы получаем удушение.

Первоначально мы получали 9 Гбит / с, но вскоре после этого мы снизили скорость до 1,1 Гбит / с.

Мы также начали получать сообщения о том, что Azure принудительно закрыл соединение, и мы получали сетевые тайм-ауты.

Кто-нибудь сталкивался с этим или имеет какие-либо сведения об увеличении ограничений?

Answer 1

Согласно официальному документу Storage limits из Azure subscription and service limits, quotas, and constraints, существуют некоторые ограничения в вашем сценарии, которые могут не соответствовать описанному ниже.

1. Максимальный запросскорость 1 для каждой учетной записи хранения: 20 000 запросов в секунду
2. Макс. выход:
   • для общих учетных записей v2 и хранилищ BLOB-объектов (все регионы): 50 Гбит / с
   • для общих целейУчетные записи хранения v1 (регионы США): 20 Гбит / с, если включен RA-GRS / GRS, 30 Гбит / с для LRS / ZRS 2
   • для учетных записей хранения общего назначения v1 (неамериканские регионы): 10 Гбит / с, если RA-GRS / GRS включен, 15 Гбит / с для LRS / ZRS 2
3. Целевая пропускная способность для одного большого двоичного объекта: до 60 МБ / с или до 500 запросов в секунду

Учитывая, что для загрузки данных в локальную среду, за исключением пропускной способности и стабильности сети, необходимо рассчитать максимальное число одновременных запросов на один блоб не более 500 и общее количество всех запросов не более 20,000если вы хотите переместить данные программытически.Так что это ключевой момент для управления высоким уровнем параллелизма.

Если вы просто перемещаете данные в Azure или не программируете, лучше всего использовать официальный инструмент передачи данных AzCopy (для Windows или Linux ) и Azure Data Factory .Тогда вам не нужно будет учитывать эти ограничения и просто дождаться выполнения хода.

Любая проблема, пожалуйста, дайте мне знать.