Копирование файлов / папок в Azure Data Lake Gen1

Question

В Azure Data Lake Storage Gen1 я могу видеть структуру папок, просматривать папки и файлы и т. Д. Я могу предварительно выполнить действия с файлами, например переименовать их / удалить их и т. Д.

Одна операция, которая отсутствует вПортал Azure и другие средства - это возможность создать копию папки или файла

. Я пытался сделать это с помощью PowerShell и самого портала, и кажется, что этот параметр недоступен

Есть ли причина для этого?

Существуют ли другие варианты для копирования папки в Data-lake?

Хранилище озера данных используется как часть кластера HDInsight

Answer 1

Если вы используете хранилище озера данных Azure с HDInsight, другой очень эффективный вариант - использовать команды файловой системы native loop, такие как hdfs dfs -cp , или если вы хотите скопировать большое количество файлов distcp.Например:

hadoop distcp adl://<data_lake_storage_gen1_account>.azuredatalakestore.net:443/sourcefolder adl://<data_lake_storage_gen1_account>.azuredatalakestore.net:443/targetfolder

Это также хороший вариант, если вы используете несколько учетных записей хранения.См. Также документацию .

Answer 2

Я предлагаю использовать фабрику данных Azure (ADF).Это самый быстрый способ, если вы хотите скопировать большие файлы или папки.Исходя из моего опыта, файлы размером 10 ГБ будут скопированы в течение примерно 1 минуты 20 секунд.Вам просто нужно создать простой конвейер с одним хранилищем данных, которое будет использоваться как хранилище данных источника и назначения.

Использование Azure Storage Explorer (ASE) для копирования больших файлов выполняется медленно, 1 ГБ более 10 минут.Копирование файлов с помощью ASE является наиболее похожей операцией, как и в большинстве файловых обозревателей (Копирование / Вставка), в отличие от копирования ADF, которое требует создания конвейера.Я думаю, что создание простого конвейера стоит усилий, особенно потому, что конвейер можно повторно использовать для копирования других файлов или папок с минимальным редактированием.

Answer 3

Я согласен с приведенным выше комментарием, вы можете использовать ADF для копирования файла.Просто вам нужно посмотреть, что это не складывает ваши расходы.Microsoft Azure Storage Explorer (MASE) также является хорошим вариантом для копирования больших двоичных объектов.

Если у вас очень большие файлы, то ниже приведен более быстрый вариант:

AzCopy:

Загрузить один файл из BLOB-объекта в локальный каталог:

AzCopy /Source:https://<StorageAccountName>.blob.core.windows.net/<BlobFolderName(if any)> /Dest:C:\ABC /SourceKey:<BlobAccessKey>  /Pattern:"<fileName>" 

Answer 4

Вы можете использовать Azure Storage Explorer для копирования файлов и папок.

1. Откройте обозреватель хранилища.
2. На левой панели разверните узел Локальные и присоединенные.
3. Щелкните правой кнопкой мыши хранилище озера данных и - в контекстном меню - выберитеПодключиться к Data Lake Store ....
4. Введите Uri, после чего инструмент перейдет к расположению URL, который вы только что ввели.
5. Выберите файл / папку, которую вы хотите скопировать.
6. Перейдите к нужному месту назначения.
7. Нажмите Вставить.

К другим параметрам копирования файлов и папок в озере данных относятся:

• Фабрика данных Azure
• AdlCopy (инструмент командной строки)