Различные способы передачи файлов из HDFS в BLOB-объект Azure без Azure Data Factory - PullRequest
0 голосов
/ 17 июня 2019

У меня есть файлы ORC в HDFS, которые мне нужно передавать в BLOB-контейнер Azure безопасным способом, но только через командную строку и без использования импорта / экспорта и другого графического интерфейса, предоставляемого Azure.

Мне чаще всего приходится сталкиватьсярешения, использующие фабрику данных Azure, но я не могу ее использовать.Другой способ - использовать azcopy.

Я также натолкнулся на модуль python под названием blobxfer, который в основном делает то же, что и azcopy.Но я не уверен, насколько она безопасна.

Я также видел утилиту wasb, но я не понял, предназначена ли она для переноса из BLOB-объекта Azure только в HDFS или наоборот.,Это так?

Есть ли другие, возможно, лучшие способы перемещения файлов из HDFS в Azure BLOB?(Могу ли я также спросить плюсы и минусы соответствующих подходов?)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...