AWS DMS для репликации данных транзакций в хранилище данных на постоянной основе - PullRequest
0 голосов
/ 27 октября 2018

Я надеюсь, что кто-то может сказать мне, если я абсолютно сумасшедший, прежде чем я пойду слишком далеко по этому пути. У меня есть приложение с MySQL в качестве бэкэнда. Мне нужно было создать более надежные отчеты, и я решил создать хранилище данных в pgsql. Проблема в том, что я не хочу, чтобы DW обновлялся один или два раза в день. Я бы хотел, чтобы это было в режиме реального времени (ожидается некоторое отставание, а не проблема).

Я посмотрел на клей AWS и несколько других вариантов и, наконец, остановился на DMS как на методе репликации данных из источника MySQL в целевую базу данных pgsql для подготовки. Затем я установил триггерные функции, которые в основном будут манипулировать вставленными / обновленными данными в базе данных pgsql, помещая их в хранилище данных. Приложение также подключено к DW и может извлекать отчеты и метрики панели мониторинга из DW по мере необходимости.

Я создал доказательство концепции, и она, кажется, работает, но в настоящий момент я только запускаю приложение, поэтому я не уверен, что оно выдержит, если я продолжу эту идею и поставлю это в производстве.

В настоящее время у меня есть экземпляр репликации dms.t2.small (версия ядра 2.4.4), работающий с ЦП примерно на 15-20%. У меня нет настроенного для Multi AZ в настоящее время.

Я вижу комбинированные значения CDCLatencyTarget / CDCLatencySource в среднем около 9 секунд. Я думаю, что если это правда, это не будет невыносимо, хотя чем меньше времени, тем лучше. Я бы сказал, что если он встанет через минуту, мы можем начать видеть жалобы.

Я знаю, что DMS больше предназначен для миграции, поэтому я хотел бы знать, действительно ли я делаю это действительно глупо или это более или менее приемлемый вариант использования? Существуют ли проблемы с DMS, о которых я не знаю, и которые впоследствии заставят меня сожалеть об этом решении?

Кроме того, я хотел бы, чтобы у вас были какие-либо идеи о том, как я могу установить меры предосторожности, чтобы обеспечить синхронизацию источника и цели, или, если они этого не сделают, я узнал об этом, или что-то, что позволило бы это сделать. к самовосстановлению.

enter image description here

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...