Загрузка файла 4 ГБ в Amazon-S3

Question

В качестве исследовательского проекта для программы старшекурсников я выполняю очень простой анализ данных (на самом деле, всего лишь слово).

Я собираюсь использовать Amazon Elastic MapReduce.

Iнужно загрузить 4ГБ .xml файл.

Каков наилучший способ сделать это?

Загрузить небольшие ZIP-файлы и каким-то образом разархивировать их в корзину?Или разделить файл, загрузить и затем использовать все небольшие файлы для потоковой передачи задания MapReduce?

Спасибо

Answer 1

Если вы хотите загрузить один большой файл, S3 поддерживает загрузку из нескольких частей.Более подробную информацию можно получить на странице документации .

Answer 2

Вы должны либо поместить этот xml в файл последовательности и bzip2, либо bzip2 и распаковать его в облаке.