Лучший подход для потоковой передачи данных в режиме реального времени из одной базы данных SQL Server в хранилище данных на одном экземпляре сервера - PullRequest
0 голосов
/ 16 октября 2019

У нас есть решение для создания отчетов SSRS, которое использует DataWarehouse, настроенный в SQL Server. Это хранилище данных объединяет данные из различных баз данных SQL Server в пределах одного и того же экземпляра сервера, а именно, различные результаты тестов, хранящиеся в соответствующих таблицах тестов в этих базах данных.

, т.е. результаты теста 1001 будут храниться в таблице Test_1001, тест 2002 хранится втаблица Test_2002 и т. д.

Проблема, с которой мы сталкиваемся, заключается в том, что DataWarehouse заполняется по расписанию с помощью заданий агента SQL Server, что означает, что наши службы SSRS предоставляют данные, которые являются самыми последними, как и последнее время выполнения этого задания. - однако новые результаты испытаний могут появиться в любое время или существующие результаты испытаний могут быть обновлены, и нам нужно, чтобы об этих результатах сообщалось, как только они стали доступны.

Что я хотел бы сделать, так это бытьвозможность настроить решение, которое немедленно выбирает новые или обновленные тесты для всех баз данных и заполняет хранилище данных, как только они становятся доступными, так что наши отчеты будут эффективно отчитываться по оперативным данным;однако я не уверен, каким будет наиболее подходящий метод для этого.

Я понимаю, что SQL Server не предназначен для обработки потоков данных в реальном времени, и для этого есть более подходящие платформы хранения данных, однако этоэто то, что мы ограничены в плане хранения данных, и нам нужно обойти это. То же самое относится и к решениям для составления отчетов, в настоящее время мы ограничены SSRS.

Мое определение «реального времени» для этой ситуации близко к реальному времени, и как только появится новая таблица испытаний. создается или, как только обновляется существующая тестовая таблица, что происходит пакетами (т. е. тестовые таблицы не постоянно создаются и обновляются постоянно, но могут неожиданно появляться или обновляться случайным образом).

...