Какую стратегию / технологию я должен использовать для такого рода репликации?

Question

В настоящее время я сталкиваюсь с одной проблемой, которая пока не находит хорошего решения, поэтому надеюсь получить совет от всех вас.

Моя проблема, как на рисунке

Базовая база данных - это то место, куда все клиенты подключаются для управления оперативными данными, которые действительно очень большие и загруженные все время.

Функциональная база данных используется не так часто, но ей требуется некоторая часть оперативных данных (возможно, 5%) из основной базы данных, но задача запроса к этому серверу займет больше времени и потребит много ресурсов.

Каково мое текущее решение:

1. Я использовал репликацию базы данных между основной базой данных и базой данных компонентов, она работает нормально.Но проблема в том, что я трачу много места на диске для хранения нежелательных данных.(Фильтрация, в то время как репликация данных не работает с моей схемой баз данных)

2. Использование системы очередей не приведет к своевременному обновлению данных, так как к основной базе данных поступает много запросов.

Пожалуйста, предложите какую-нибудь идею, если вы встречали это?

Спасибо,

Пань

Answer 1

Если все, что вас беспокоит, это дисковое пространство, я бы остановился на решении, которое у вас есть прямо сейчас.В наши дни 100 ГБ дискового пространства - это меньше доллара - за эти деньги вы не можете позволить себе внедрить новое решение в систему.

Логически, есть также основания для сохраненияфильтрация в одном и том же приложении - сохранение ответственности за знание того, какие записи релевантны внутри самого приложения, а не на каком-то загадочном уровне интеграции, уменьшит общую сложность решения.Примите дополнительную сложность специального интеграционного слоя, только если вам это действительно нужно.

Answer 2

То, что вы определяете, является классической задачей интеграции данных. Вы можете использовать любой инструмент интеграции данных для извлечения данных из вашей основной базы данных и загрузки в избранную базу данных. Вы можете планировать свои задания по интеграции данных в режиме реального времени на любой период времени.

Я использовал Talend в своем полунаучном проекте интеграции базы данных PostgreSQL (10 ГБ). Работало прекрасно.

Вы также можете попробовать Службы интеграции SQL Server (SSIS) . Этот инструмент также очень мощный. Он работает со всеми первоклассными СУБД.