Ведение журнала Hadoop и создание отчетов - PullRequest
0 голосов
/ 05 декабря 2011

Можем ли мы использовать Hadoop только для регистрации или просто для отчетов? Так что я могу экспериментировать с разными вещами, такими как регистрация с помощью писца и создание отчетов с помощью Hadoop.

Ответы [ 2 ]

1 голос
/ 05 декабря 2011

Hadoop имеет экономичное хранилище и мощный анализ данных.HDFS - отличное место для размещения логов и тому подобного, потому что его цена за терабайт по сравнению с другими решениями очень низкая.Кроме того, когда ваши данные находятся в HDFS, они очень доступны с MapReduce.Суть Hadoop в том, что вы не должны выбрасывать данные.Вы должны собрать все это и через MapReduce начать анализировать его и получать информацию, которой у вас иначе не было бы.

1 голос
/ 05 декабря 2011

вы уже ответили на вопрос, есть проекты, такие как flume, scribe, которые могут помочь вам собрать журналы, и вы можете выполнить агрегацию по этому вопросу. Вы также можете обратиться к следующим для других проектов

http://blog.treasure -data.com / запись / 13766262632 / в режиме реального времени лог-коллекция-с-fluentd-и-MongoDB
http://incubator.apache.org/projects/flume.html

...