Миграция данных с AWS MySQL на GCP BigQuery

Question

Я планирую миграцию данных из экземпляров AWS MySQL в GCP BigQuery.Я не хочу переносить каждую базу данных MySQL, потому что, наконец, я хочу создать хранилище данных с использованием BigQuery.

Будет ли экспорт базы данных AWS MySQL в сегменты S3 в виде csv / json / avro, а затем передача в сегменты GCP будетхороший вариант?Каковы лучшие практики для этого конвейера данных?

Answer 1

Если это была миграция с MySQL на MySQL; были и другие возможные варианты. Но в этом случае упомянутый вами вариант идеален. Кроме того, помните, что ваша база данных MySQL будет постоянно обновляться. Итак, в вашей целевой БД могут отсутствовать некоторые записи ... потому что это не передача БД в реальном времени.

Answer 2

Ваше предложение по экспорту в файлы S3 должно работать нормально, а для экспорта файлов вы можете воспользоваться AWS Database Migration Service

С помощью этой службы вы можете выполнить однократный экспорт в S3 или инкрементный экспорт с помощью Change Data Capture. К сожалению, поскольку BigQuery на самом деле не предназначен для работы с изменениями в своих таблицах, реализация CDC может быть немного громоздкой (хотя и вполне выполнимой). Вам необходимо учесть стоимость передачи данных между провайдерами.

Еще один вариант, который будет для вас гораздо проще, - это использовать ту же службу миграции баз данных AWS, чтобы перемещать данные непосредственно в Amazon Redshift .

В этом случае вы получите автоматическое изменение данных, поэтому вам не о чем беспокоиться. А RedShift - отличный инструмент для создания вашего хранилища данных.

Если вы по какой-либо причине не хотите использовать RedShift и предпочитаете полностью безсерверное решение, вы можете легко использовать Каталог клея AWS для считывания из ваших баз данных и экспорта в AWS Athena.

Крутая вещь в решениях на основе AWS - все тесно интегрировано, вы можете использовать одну и ту же учетную запись / пользователей для выставления счетов, IAM, мониторинга ... и поскольку вы перемещаете данные в рамках одного поставщика, дополнительная плата не взимается. для работы в сети, без задержек и, возможно, меньше проблем с безопасностью.