Как получить 174 ГБ данных в мое хранилище таблиц Azure

Question

У меня есть 174 ГБ XML-файлов, которые мне нужно поместить в хранилище таблиц Azure. Как лучше всего это сделать?Файлы XML должны быть проанализированы, а их содержимое помещено в разные таблицы в моем хранилище таблиц Azure на вычислительном экземпляре Azure после загрузки.

Answer 1

Это много данных. Сегодня единственный способ получить что-то в Windows Azure - это загрузить их через HTTP. 174 ГБ будет загружаться через большинство сетевых подключений очень долго.

При этом я бы предложил загрузить XML в хранилище BLOB-объектов, а затем запустить код (в рабочей роли), который извлекает XML из хранилища BLOB-объектов, анализирует его и записывает в таблицы. Другими словами, выполните загрузку с необработанным XML и выполните преобразование в таблицы в облаке, где задержка будет низкой, а полоса пропускания высокой.

Answer 2

Я бы сжал их и сохранил файл в хранилище BLOB-объектов. Оттуда я бы вытащил файл в рабочую (ые) роль (и) и сделал бы фактические вставки. Что нужно иметь в виду:

1. Пропускная способность бесплатна в Windows Azure, поэтому загрузка блоба стоит всего лишь времени.
2. Транзакции с хранилищем не являются свободными, поэтому вы должны стараться использовать пакетные вставки, когда это возможно (та же таблица, тот же ключ раздела). 1М вкладышей будет 1 доллар.
3. Вы получите самую высокую производительность в Windows Azure. Загрузите файлы параллельно между экземплярами (используйте аренду для отслеживания) и выполните вставки.

Answer 3

Возможно, вы сможете использовать Azure Drive в вашем экземпляре vm. Вы загрузите файл в vm, а затем на диск Azuredrive.