Миграция / копирование файлов (в основном pdf, но некоторые jpeg, doc, excel, html ..) из Unix в Azure.

Question

Миграция / копирование файлов (в основном pdf, но некоторые jpeg, doc, excel, html ..) из Unix в Azure.

Общий размер - 9-12 ТБ 1 из 1000 файлов больше 25 МБ Самый большой найденный файл - 720 МБ Более 30 миллионов документов с тысячами каталогов 70-90% файлов никогда не доступны (без чтения) Файлы никогда не будут записаны только для чтения

Существующие: файлы, сохраненные в Unix и ref. стол в оракуле

Предложено: файлы в файлах Azure и реф. таблица на виртуальной машине SQL Server (на Azure, которая уже существует)

Используйте ящик данных Azure (предварительный просмотр стоит около 300 долларов США, но скоро будет доступен) для копирования файлов из центра обработки данных и отправки в центр обработки данных Azure. Есть ли более эффективный способ сделать это? Скопируйте файлы ящика данных в хранилище файловой службы Azure (на виртуальной машине) и ref. таблица в Sql сервере ВМ на Azure. Эти файлы должны быть доступны из внешней системы Salesforce на основе пути к таблице ссылок. Можем ли мы обновить структуру папок в случае необходимости (есть ли способ перечислить этот файл и сохранить путь в файле, чтобы обновить таблицу ref на сервере sql?) Пожалуйста, предложите, если хранилище BLOB-объектов имеет больше смысла? любые проблемы / ограничения с файловым хранилищем.

Answer 1

Существует несколько способов переноса данных из локальной среды в Azure. Databox является одним из них, так как вы уже знаете об этом, ниже приведены дополнительные параметры:

AzCopy AzCopy - это утилита командной строки, предназначенная для высокопроизводительного копирования данных в хранилище Azure и из него. Вы также можете копировать данные в учетной записи хранения или между различными учетными записями хранения. AzCopy доступен в Windows и Linux.

Подробнее см. В разделе Перенос данных с помощью служебной программы командной строки AzCopy или Перенос данных с помощью AzCopy в Linux.

Azure PowerShell:

Azure PowerShell - это модуль, который предоставляет командлеты для управления службами в Azure. Это основанная на задачах оболочка командной строки и язык сценариев, разработанный специально для системного администрирования.

Azure CLI:

Azure CLI предоставляет набор кроссплатформенных команд с открытым исходным кодом для работы со службами Azure. CLI Azure доступен в Windows, OSX и Linux.

Azure Импорт / Экспорт:

Служба импорта / экспорта Azure используется для безопасного импорта больших объемов данных в хранилище BLOB-объектов Azure и файлы Azure путем отправки дисков в центр обработки данных Azure. Этот сервис также можно использовать для передачи данных из хранилища BLOB-объектов Azure на жесткие диски и отправки на локальные сайты. Данные с одного или нескольких дисков можно импортировать либо в хранилище BLOB-объектов Azure, либо в файлы Azure.

Более подробную информацию можно найти здесь: https://docs.microsoft.com/en-us/azure/storage/common/storage-moving-data