Советы по созданию инструмента веб-аналитики (желательно для Python) - OLAP / Python

Question

Я собираюсь начать разработку инструмента веб-аналитики для сайта электронной коммерции.

Я собираюсь регистрировать несколько разных событий, в основном клики по различным элементам страницы и просмотрам страниц.

Эти события содержат метаданные (имя пользователя, вошедшего в систему, его страну, возраст и т. Д.), А сама страница содержит другие метаданные (категория, подкатегория, продукт и т. Д.).

Мои компании хотели бы что-то вроде куба OLAP, чтобы иметь возможность отвечать на такие вопросы, как:

Сколько клиентов из страны x посетило категорию y? Сколько просмотров страниц для категории x в январе 2012 года? Сколько клиентов из страны x посетило категорию y?

Насколько я понимаю, я должен использовать механизм OLAP для записи этих событий, а затем создать интерфейс отчетности, чтобы мои коллеги могли его использовать.

Я прав? Есть ли у вас какие-либо советы по поводу движка и интерфейса / инструмента отчетности, которые мне следует использовать? Я программист на Python, поэтому все, что подходит для Python, было бы неплохо.

Спасибо!

Answer 1

Как указано в выбранном ответе, это зависит от количества ваших данных.Однако, если вы столкнетесь с ситуацией, когда вам будет достаточно облегченной платформы Python OLAP, вы можете попробовать Кубы , источники находятся на github .Он содержит SQL-сервер (может быть реализован и любой другой) и предоставляет легкий HTTP OLAP-сервер .Пример приложения (интерфейс PHP с серверной частью HTTP Slicer OLAP-сервера), использующего его, можно найти здесь Оно не содержит слой визуализации и сложные запросы, но это компромисс за его малость.1009 *

Answer 2

Главный вопрос в том, насколько большим будет ваш куб и нужно ли вам решение OLAP с открытым исходным кодом или нет.

Если вы имеете дело с большими кубами и хотите получить место для будущих функций, вы можете использовать настоящий OLAP-сервер .Некоторые из них с открытым исходным кодом - Mondrian - и другие имеют «ограниченное» издание сообщества - Palo , icCube .Важным моментом здесь является совместимость с MDX и XMLA.стандарт defacto OLAP, так что вы можете подключить различные инструменты отчетности и / или использовать существующие библиотеки.Насколько я понимаю, не существует версии Phyton для библиотеки XMLA, как в Java или .NET, и я не уверен, что это правильный путь.

Если ваши кубы маленькие, вы можете что-то разработать самостоятельно илидругие быстрые решения, как указывает комментарий Чарлакса.