Как загрузить файл объемом 250 ГБ из локальной HDFS в azure хранилище больших двоичных объектов с помощью distcp

Question

Я использую приведенную ниже команду distcp для загрузки файла 250 ГБ из HDFS в azure хранилище BLOB-объектов

hadoop distcp \
-Dmapreduce.map.log.level="DEBUG" \
-Dfs.azure.account.key.dartblobstorage.blob.core.windows.net=<account_key> \
-Dmapreduce.task.timeout=0  -overwrite -i -numListstatusThreads=1 \
/user/test/250gb_file  \
wasbs://contianer@storageAccount.blob.core.windows.net/testDir/