Обработка CloudFront-логов с помощью Elastic MapReduce (PIG) - PullRequest
0 голосов
/ 01 ноября 2010

Я хотел бы обработать журналы доступа, которые Amazon CloudFront создает с помощью Amazon Elastic MapReduce.

Мне просто нужна простая статистика о том, сколько раз разные файлы загружались из облачного фронта, поэтому я подумал, что для этого нужно написать простой PIG-скрипт.тот облачный фронт пишет логи gzipped и насколько я знаю, я не могу прочитать .gz на свинье?

Есть предложения о том, как мне это сделать?Я очень новичок в упругом mapreduce, поэтому любые советы о том, как структурировать такую ​​работу, приветствуются.

Ответы [ 2 ]

2 голосов
/ 02 ноября 2010

Извините, по умолчанию это работает. Не нужно распаковывать журналы перед их обработкой. Мой плохой.

0 голосов
/ 01 декабря 2011

Вас может заинтересовать Qloudstat .Мы предложим статистику журналов доступа CloudFront как услугу.

...