Визуальный анализ данных для данных Django (Postgres)

Question

Я пишу приложение Django (которое использует Postgres 8.4 в качестве бэкэнда), которое объединяет большой объем данных (154 ГБ, 150 таблиц).Я хотел бы знать, существуют ли какие-либо модули или платформы Python, которые поддерживают анализ нескольких таблиц и столбцов.

Например:

• В таблице 1 есть столбцы A, B,C
• В таблице 2 есть столбцы A, D
• В таблице 3 есть столбцы F, G, H, I

.соответствует D - построение графика B против D по 2 осям или другим формам.Было бы хорошо, если бы я мог предоставить ему список измерений, и он мог бы сравнить любое одно с другим.

Answer 1

Вам нужно будет написать собственный код SQL, и то, как вы подключите эти данные в приложение или систему графического мониторинга, зависит от вас.

+ 1 для графита и с плагином collectd + graphite и плагин postgresql легко получить данные postgresql в графит.

Вещи, которые вы хотите отслеживать, связаны с конкретной базой данных и, возможно, с вашим вариантом использования. На самом деле в pythonland нет ничего, что могло бы помочь вам с SQL.

Для тех, кто не является гуру postgresql, есть отличная книга с множеством примеров запросов на мониторинг / администрирование.

Лично я бы не использовал сам django для этих операций, но их можно легко сделать с помощью rawsql, а затем вы можете просто определить некоторые модели для хранения данных и использовать свой инструмент визуализации для отображения данных.

Answer 2

Предварительное предупреждение: все 3 из библиотек на основе db, с которыми я работал, делают то, что вы хотите, используя НЕ Postgres (... и мне все равно нравились только 2 из них ...).

Если вы все еще находитесь на ранней стадии разработки, вы можете рассмотреть графит . Он имеет отличную графическую функциональность и очень прост в работе, также написан на python.

Если вы хотите чего-то большего, OpenTSDB .

Самый простой способ использовать любой из них - написать шеллскрипт / скребок для запроса ваших таблиц и выплюнуть его обратно в ваш экземпляр graphite / opentsdb. Если вы ищете карту непосредственно из вашей базы данных, вам, возможно, повезет, переработав код графита.