Я создаю приложение KPI, и некоторые показатели KPI, которые я отображаю на информационной панели, требуют извлечения данных из различных остальных API и БД.
Я думаю о создании модели источника данных, в которой мы позволяем пользователю создаватьдинамическая таблица, извлекающая данные из разных источников, и я сохраняю таблицу в нашем приложении и регулярно обновляю данные, чтобы поддерживать их актуальность. Идея dyanic таблицы заключается в том, чтобы разрешить удаление столбцов и добавлять столбцы на более позднем этапе, если это необходимо (реструктурировать динамическую таблицу / модель)
Эти динамические источники данных, которые мы храним локально, будут использоваться для создания панели мониторинга. KPI метрики или графики рендеринга.
Что касается извлечения данных и построения динамической таблицы в приложении, уже выяснено, но самое главное - сохранить эту динамическую таблицу.
Я использую SQL Server 2016 в бэкэнде, приложение использует Entity Framework и .net Core, и не уверен, что это правильное решение для динамического создания таблицы / столбца - это правильный подход? Есть ли лучшие практики для того, как это должно быть разработано / реализовано?
[Обновление] Одним из решений, которое я рассматривал, является сохранение модели данных / структуры всего, что я извлекаю из этих различных источников данных, и сохранение фактических данных в Redis и частое обновление Redis.
Redis предоставит способ сохранить резервную копию данных в случае перезапуска или сбоя и обеспечит лучшую производительность.
Имеет ли это решение смысл? или есть лучший способ сделать это?
Причина, по которой я не хочу продолжать использовать БД или API сторонних разработчиков для создания панели мониторинга, потому что иногда (это часто случается) эти источники данных недоступны и нет поддержки 24/7 для их сохранения. Итак, клон данных на моих серверах должен быть лучшим решением, и я также могу предоставить функции для манипулирования этими данными, чтобы добавлять дополнительные столбцы и создавать собственные формулы данных столбцов.