Я ожидаю, что в ближайшие несколько лет в моем MPP DW будет 10-25 ТБ данных. Размер одного набора данных может быть до 500 ГБ CSV. Я хочу выполнять интерактивные запросы к этим данным в аналитических инструментах (Power BI).
Я ищу способ добиться интерактивных запросов с разумным выставлением счетов. Я знаю, что Azure Многомерные модели Analytics Services (AAS) могут использоваться для этих объемов данных. Но это даст мне меньше производительности в качестве табличной модели. С другой стороны, даже при 10-кратной степени сжатия я не могу хранить все в оперативной памяти одновременно из-за цены AAS.
Поэтому мне интересно, есть ли возможность сохранить все табличные модели внутри AAS в отдельное состояние (только диск) в пределах минимального размера кластера AAS (минимальный биллинг), а по запросу выполняется масштабирование (увеличение количества узлов) и присоединение указанного набора данных c (загрузка с диска в ОЗУ)? Есть ли другой вариант использовать табличную модель AAS и не хранить все 10-25 ТБ в оперативной памяти одновременно?
Я предполагаю, что этот вариант при небольшом количестве одновременных пользователей будет иметь лучшую производительность, чем многомерная модель, в то время как не требуется хранить все в оперативной памяти (дешевле).