Аналитика вместе с базой данных OLTP

Question

У меня есть основной вариант использования, где я хочу иметь транзакционную реляционную базу данных, для которой я использую Postgres.

Мне также нужно часто выполнять статистические запросы (количество, сумма, среднее) к данным.Эти статистические данные не могут быть предварительно рассчитаны, так как мы должны предоставить несколько фильтров для поиска.

Сначала я думал об использовании Redshift в качестве вторичного хранилища, которое может обслуживать эти запросы, но затем мне нужно было бы также создать систему для синхронизации данных между двумя хранилищами.

Есть ли лучший способ добиться этого?

Answer 1

Посмотрите на AWS DMS, вы можете настроить его так, чтобы в режиме реального времени точная копия ваших данных Postgres сохранялась в Redshift.

Он надежен и требует минимального обслуживания (например, если вы добавляете новые столбцы к исходным данным).

Внимательно прочитайте оба из них, особенно ограничения и требования.

https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Source.PostgreSQL.html а также https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Target.Redshift.html

Если они не нужны, я рекомендую исключить текстовые (и другие крупные объекты) столбцы из синхронизации. это можно легко сделать, установив флаг, или настроить столбец за столбцом.

Исходная база данных Postgres не должна храниться в AWS.