Проектирование агрегации в реальном времени, выполняемой на транзакционных данных SQL Server

Question

У меня есть события запуска приложений .NET и хранения тиковых данных в SQL Server. Транзакционные данные составляют около 5 ГБ в день. По причинам, связанным с источником данных, я могу только с трудом изменить приложение .NET, которое обрабатывает события для выполнения агрегации.

Я пытаюсь найти лучший способ в реальном времени и, желательно, с помощью C # (хотя я знаю и Python) способов автоматического объединения данных в реальном времени.

У кого-нибудь есть идеи по этому поводу? Я думал о сокращении карты, но похоже, что будет задержка. Я действительно хотел бы избежать создания приложения .NET, потому что я не могу использовать Visual Studio для отладки.

Answer 1

Как в реальном времени вам нужно? Очевидным решением является запуск задания каждую минуту или около того, чтобы объединить последние подробные данные и загрузить их в сводную таблицу.

Вы также можете использовать Индексированное представление или даже триггер для поддержки агрегатов при загрузке данных.