Может ли AzCopy передавать файлы в Azure напрямую из HDFS, а не из локального хранилища? - PullRequest
0 голосов
/ 27 июня 2019

Мне кажется, у меня довольно простой вопрос. Я использую кластер Hadoop, размещенный на Unix-машине. И мне нужно перенести файлы ORC в хранилище BLOB-объектов Azure из этого кластера Hadoop.

Если я установлю AzCopy на машину Unix, на которой размещен кластер Hadoop, смогу ли я передавать файлы туда и обратно в HDFS и Azure?

Вся информация, которую я вижу в Интернете, говорит только о переносах между локальным хранилищем в Azure. Поэтому я все еще не понимаю, как перейти с HDFS на Azure.

Может кто-нибудь помочь мне разрешить эту путаницу с AzCopy? Было бы отличной помощью. Заранее спасибо.

1 Ответ

0 голосов
/ 27 июня 2019

Вы можете просто использовать distcp для этого. Смотрите решение здесь (я только что изменил порядок параметров) https://stackoverflow.com/a/54514602/1537195

hadoop  distcp -D fs.azure.account.key.<account name>.blob.core.windows.net=<Key> hdfs://<hdfs path> wasb://<container>@<account>.blob.core.windows.net<path to wasb file>
...