Tableau Extract как функциональность с Presto

Question

Я разрабатывал пользовательский инструмент отчетности (не для хранилищ данных) с обычной аналитической панелью инструментов. На данный момент я планирую использовать PostgreSQL в качестве базы данных отчетов, поскольку у меня есть все основные аналитические функции, доступные там. Но когда дело доходит до поиска на лету необработанных данных, время отклика слишком плохое. Для каждого действия пользователя одно запрос на postgresDB работает не так эффективно.

Подход в оперативной памяти, такой как извлечения из таблицы, идеально подходит для такого случая использования. Для меня возможно добиться чего-то подобного, используя Presto между Postgres и уровнем отчетности, так что Presto будет выполнять запросы поверх необработанных данных. и дать более быстрый результат?

Предположим, я говорю о таблице 'порядок' и ищу некоторую конкретную категорию элементов и снова фильтрую по подкатегориям и т. Д., Будет ли Presto отправлять каждый запрос в Postgres для каждого пользовательского действия, или он будет интеллектуально отфильтровывать данные, которые уже присутствует в слое presto?

Если Presto не является правильным решением для этого, есть ли какие-либо БД / механизмы, присутствующие для решения такого рода динамических отчетов в памяти, аналогично извлечениям из таблиц?

Answer 1

Presto имеет Поддержка Postrgres , но если вам нужна функциональность, подобная Tableau, просто используйте Tableau?

В качестве альтернативы, вы можете настроить ваши индексы и другие параметры Postgres, чтобы получить лучшую производительность из этой базы данных.

Answer 2

Presto не принесет много пользы при развертывании поверх одного экземпляра RDBMS (здесь: PostgreSQL).Presto все равно нужно будет получать данные из базовой базы данных, и это будет ограничено эффективностью вашего PostgreSQL.

Однако с Presto вы можете использовать дополнительные хранилища данных - например, вы можете экспериментировать с разъемом встроенной памяти Presto или используйте некоторую базу данных NoSQL для быстрого доступа к отдельным записям.

Кроме того, вы должны подумать, может ли моделирование ваших данных по-другому принести некоторое улучшение.Возможно, вы могли бы использовать какое-либо решение Cube / Data Mart (например, Druid ) для более быстрого доступа к агрегированным результатам.Если вы используете Presto в качестве уровня виртуализации данных, вы сохраняете свободу изменять базовые технологии, не изменяя при этом свой собственный инструмент отчетности.