Методы кэширования данных / Советы / AppFabric

Question

У нас есть миллионы и миллионы записей в таблице SQL, и мы используем очень сложную аналитику для этих данных для генерации отчетов.

По мере роста таблицы и добавления дополнительных записей время вычисленияувеличивается, и пользователю приходится долго ждать, пока загрузится веб-страница.

Мы думали об использовании распределенного кэша, такого как AppFabric, для загрузки данных в память при загрузке приложения и последующего запуска наших отчетов из этих данных вобъем памяти.Это должно немного улучшить время отклика, так как теперь данные находятся в памяти по сравнению с диском.

Прежде чем мы возьмем плагин и реализуем это, я хотел проверить и выяснить, что делают другие, и каковы некоторые из лучших методов.и практики загрузки данных в память, кэширования и т. д. Конечно, вы не просто загружаете всю таблицу с сотнями миллионов записей в памяти ... ??

Я также изучал OLAP / хранилище данных,что может дать нам лучшую производительность, чем кэширование.

Answer 1

Решение сложных отчетов заключается в предварительном расчете, поэтому вы находитесь на правильном пути, если смотрите на OLAP.

Answer 2

Рассматривали ли вы разделение вашей базы данных?Мы делаем это для наших самых больших баз данных.

Сказав это, правильное использование кэша фабричного приложения значительно повысит производительность для большинства приложений с интенсивным вводом-выводом.

Answer 3

У нас есть миллионы и миллионы записей в таблице SQL,

Плохая политика. Плоские файлы лучше.

и мы используем очень сложную аналитику для этих данных для генерации отчетов.

В некоторых случаях вам будет проще загрузить соответствующие подмножества в SQL.

По мере роста таблицы и добавления дополнительных записей время вычислений увеличивается

Это следствие слишком большого использования базы данных. Используйте его для меньших затрат.

Мы думали об использовании распределенного кэша, такого как AppFabric ...

Возможно. Плоские файлы, однако, быстрее и более масштабируемы, чем RDBMS.

также изучал OLAP / хранилище данных

Хороший план. Купите книгу Кимбалла немедленно. Вам не нужно больше технологий. Вам нужно только лучше использовать плоские файлы в качестве основного и SQL в качестве места для специальных запросов (против подмножеств) для пользователей.