Хотите узнать больше о внутренностях AWS DMS (Служба переноса данных)?

Question

Когда создается задача репликации, то при любом изменении в исходной базе данных она реплицируется в целевой базе данных.

Так что просто хотелось узнать больше о том, как эта служба внутренне работает?

• My Understanding DMS имеет службу прослушивания, которая используется для прослушивания триггеров / событий, когда они запускаются на источнике, и слушатель собирает эти события / триггеры и запускает их одновременно на цели,концепции потоковой передачи была реализована в текущей репликации, и во время загрузки была выполнена пакетная обработка.

Не могли бы вы, пожалуйста, разъяснить мне больше о внутренностях или поделиться со мной какой-либо высокойпроектная справка высокого уровня.

Мне нужно больше разъяснений по этому вопросу

Answer 1

Для MsSQL Server:

• Использование службы репликации sql
• Использование захвата изменений данных

При активации одной из этих служб более подробнозаписи будут созданы в файле ldf.

Работает в двух типах:

1. Предотвращая усечение файла журнала, он непрерывно читает файл журнала и передает новые операции вцели.
2. Считывает резервные копии транзакций и передает новые записи в места назначения

Проверьте это: https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Source.SQLServer.html

Answer 2

Как работает DMS CDC, зависит от вашей исходной базы данных и часто требует настройки исходной базы данных и параметров управления в задаче DMS.

Этот процесс работает путем сбора изменений в журналах базы данных с использованиемСобственный API ядра СУБД.

Каждый движок источника имеет особые требования к конфигурации для предоставления этого потока изменений определенной учетной записи пользователя.Большинству механизмов требуется некоторая дополнительная конфигурация, чтобы процесс захвата мог эффективно использовать данные изменений без потери данных.Например, Oracle требует добавления дополнительного ведения журнала, а MySQL требует двоичного ведения журнала на уровне строки (ведение журнала bin).

Для чтения текущих изменений из исходной базы данных AWS DMS использует специфичные для движка действия API для чтения измененийиз журналов транзакций исходного движка.Ниже приведены некоторые примеры того, как AWS DMS делает это:

(Продолжите чтение по адресу: https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Task.CDC.html)

Чтобы найти конкретную исходную базу данных, запустите здесь выберитеваш источник, и погрузиться в детали.

Answer 3

Этот документ содержит обзор высокого уровня о том, как работает DMS:

Чтобы выполнить миграцию базы данных, AWS DMS подключается к хранилищу исходных данных, считывает исходные данные,и форматирует данные для потребления целевым хранилищем данных.Затем он загружает данные в целевое хранилище данных.Большая часть этой обработки происходит в памяти, хотя большие транзакции могут потребовать некоторой буферизации на диск.Кэшированные транзакции и файлы журналов также записываются на диск.На высоком уровне при использовании AWS DMS вы делаете следующее:

• Создание сервера репликации.

• Создание исходных и целевых конечных точек, которые имеютсведения о подключении к вашим хранилищам данных.

• Создание одной или нескольких задач для переноса данных между исходным и целевым хранилищами данных.

На странице гораздо больше подробностей, но это краткое изложение объясняет, что происходит.Здесь нет триггеров, а только чтение указанных вами данных, преобразование по мере необходимости, а затем запись в место назначения.