Мы собираем данные из множества различных источников и помещаем все данные в одну табличную модель.
Сейчас мы ждем, пока у нас все данные, и затем обрабатываем модель.Однако это означает, что самый медленный источник данных решает, когда данные будут готовы.
Мне было интересно, можно ли начать обработку таблиц в шахматном порядке.
Это будет выглядеть так:
- в 6.03. Источник данных выполнен в EDW, и мы начинаем обработку его таблицы фактов в модели.
- в 6.10 DS 2 завершена, и таблица фактов 2 начинает обработку,Таблица фактов 1 все еще обрабатывает
- в 6.23. Таблица фактов 1 завершает обработку, и пользователи могут видеть новые данные
- в 6.55. Таблица фактов 2 заканчивает обработку, и пользователи могут видеть новые данные.
- в 7.10 ds 3 завершено, и фактабильная 3 начинает обработку
- и т. Д.
Я провел несколько небольших тестов, но я не нашеллюбая документация о том, как табличная SSAS реагирует на новые запросы обработки во время обработки, и, что более важно, если это хорошо для производительности.Наша другая стратегия -
- в 6:00 утра. Мы проверяем, какие таблицы установили контрольную точку, а какая нет
- в 6.03. Факту 1 выполнено, мы установили контрольную точку в контрольной таблице.
- в 6.14 Facttable 2 выполнен, и его контрольная точка установлена в
- в 6.15, мы проверяем, какие таблицы установили контрольную точку и запускаем параллельный процесс в SSAS для этих двух таблиц
- в 6:30 мы видим, что мы обрабатываем и не начинаем новую обработку
- в 6,51 обработка выполняется
- в 7:00 утра. Мы проверяем, какие таблицы установили контрольную точку, которая не равна
- в 7.10 фактабильно 3 выполнено и контрольная точка установлена
- и т. Д.
Последний будет работать, но мы будем уязвимы для точного времени законченногостолы.Если таблица с большим временем обработки начинает обрабатываться раньше, последующие таблицы не начнут обрабатываться слишком поздно, однако я не уверен, что первая возможность фактически сделает данные доступными быстрее.