Регулярно реплицируйте данные с AWS RDS (MySQL) на другой сервер (экземпляр EC2)

Question

У нас есть большой экземпляр AWS RDS (MySQL), и нам необходимо реплицировать данные из него в другой экземпляр Ec2, ежедневно в определенное время для целей отчетности и анализа.

В настоящее время мы используем mysqldump для созданияфайл дампа, а затем скопировать всю схему, что занимает много времени.Есть ли более быстрый способ сделать это, было бы намного лучше, если бы он копировал только новые записи.

Как мы можем копировать данные без копирования всей схемы каждый раз?

Answer 1

Вы можете использовать AWS Glue для периодической миграции базы данных в качестве задания ETL.

Вы также можете рассмотреть возможность использования AWS Data Migration Service (DMS).

Однако AWS Glue предпочтительнее DMS для заданий ETL, выполняемых в AWS, и вы знакомы с Python или Scala для написания логики преобразования.

В: Когда следует использовать AWSКлей против службы миграции баз данных AWS?Служба миграции баз данных AWS (DMS) помогает легко и безопасно переносить базы данных в AWS.Для случаев использования, которые требуют переноса базы данных из локальной среды в AWS или репликации базы данных между локальными источниками и источниками в AWS, мы рекомендуем вам использовать AWS DMS.Когда ваши данные находятся в AWS, вы можете использовать AWS Glue для перемещения и преобразования данных из вашего источника данных в другую базу данных или хранилище данных, например Amazon Redshift.

Answer 2

Вам стоит взглянуть на Службу миграции баз данных .Не смущайтесь именем.Это может делать непрерывную или однократную репликацию.Из FAQ:

Q.В дополнение к одноразовой миграции данных, могу ли я использовать AWS Database Migration Service для непрерывной репликации данных?

Да, вы можете использовать AWS Database Migration Service как для однократной миграции данных в базы данных RDS, так и на базы данных EC2.а также для непрерывной репликации данных.Служба миграции базы данных AWS будет регистрировать изменения в исходной базе данных и применять их согласованно с точки зрения транзакций к цели.Непрерывную репликацию можно выполнять из вашего центра обработки данных в базы данных в AWS или наоборот, реплицируя в базу данных в вашем центре данных из базы данных в AWS.Непрерывная непрерывная репликация может также выполняться между гомогенными или гетерогенными базами данных.Для текущей репликации было бы предпочтительным использовать Multi-AZ для обеспечения высокой доступности.