Data mine огромное количество данных

Question

Я храню огромное количество элементов отчетности в базе данных MySQL. Эти элементы хранятся простым способом:

KindOfEvent;FromCountry;FromGroupOfUser;FromUser;CreationDate

Все эти элементы отчетности должны позволять отображать графики с разных точек зрения. Я пытался использовать запросы SQL для этого, но это очень медленно для пользователей. Поскольку этот график будет использоваться нетехническими пользователями, мне нужен инструмент для предварительной обработки результата. Я очень новичок во всех этих концепциях интеллектуального анализа данных, отчетности, olap. Если вы знаете прагматичный подход, не требующий много времени, или инструмент для этого, это поможет!

Answer 1

Вы можете установить OLAP-кубы поверх ваших данных MySQL. Многомерная модель поможет пользователям перемещаться и анализировать данные с помощью Excel или веб-панелей. Особенностью icCube является ее способность интегрировать любую библиотеку диаграмм Javascript и встраивать панель мониторинга в ваши собственные страницы.

Answer 2

Я не знаком с БД, но я думаю, что MySQL далеко не достаточно для ваших проблем.Хорошо разработанный индекс или транзакция ускорит процесс запроса.

Answer 3

Я не эксперт по БД, но если вы хотите обрабатывать графики, вы можете использовать Neo4J (среду обработки графов Java) или SNAP (среду обработки графов C ++) или облачные вычисления для сотрудников, если это возможно. Я бы порекомендовал либо Hadoop (MapReduce), либо Giraph (обработка облачных графиков). Для отображения графика вы можете использовать любые инструменты, которые вам подходят. Конечно, «лучшая» технология зависит от размера данных. Если ничего из вышеперечисленного не подходит вам, попробуйте найти что-нибудь подходящее на вики-странице: http://en.wikipedia.org/wiki/Graph_database

InforGrid (http://infogrid.org/trac/) похоже, может вам подойти.