Hadoop - сохранение данных журнала и разработка графического интерфейса

Question

Я занимаюсь исследованиями для моего нового проекта. Ниже приведены подробности моего проекта, исследования и вопросы:

Проект:

1. Сохранение журналов (напр.формат: метка времени, запись в журнале, местоположение, примечания и т. д.) из разных источников.Здесь разные источники похожи на получение данных LOG из разных систем по всему миру (просто обзор)

2. (после сохранения записей LOG в Hadoop, как указано в 1) Создание отчетов оЖурналы, сохраненные в Hadoop по требованию, такие как детализация, детализация и т. Д.

ПРИМЕЧАНИЕ. За каждую минуту прибл.их будет от 50 до 60 МБ записей журнала из систем (я проверял это).

Исследования и вопросы:

1. Для сохранения записей журнала в Hadoop из разных источников мыиспользуется Apache Flume.
2. Мы создаем собственные программы MR и сервлеты.

Есть ли у вас какие-либо хорошие варианты, кроме flume?Является ли это какой-либо инструмент анализа данных Hadoop (с открытым исходным кодом) для создания отчетов и т. Д.?

Я делаю свое исследование, если кто-нибудь из нас добавит мне свои комментарии, это будет полезно.

Answer 1

Вы смотрели на Datameer? Он предоставляет графический интерфейс для импорта всех этих типов файлов и создания отчетов, а также панелей мониторинга.

Answer 2

Я думаю, что вы можете использовать ВИЧ.Даже я новичок в Hadoop, но читал кое-что, где ВИЧE для аналитики Hadoop.Не уверен, имеет ли он графический интерфейс или нет, но наверняка имеет возможность SQL для запроса неструктурированных данных.