Можно ли добавить данные из нескольких таблиц выборочных столбцов базы данных mysql rds в одну таблицу с другой таблицей mysql rds

Question

Можно ли добавить данные из нескольких таблиц выборочных столбцов базы данных mysql rds в одну таблицу с другим экземпляром mysql rds, используя AWS Glue.

Пожалуйста, предложите.

Спасибо

Answer 1

Да, этого можно достичь с помощью Glue двумя способами:

Первый подход:

1. Запустите сканер клея на всех этих таблицах и загрузите все эти таблицы в вашу работу Glue из каталога Glue.

2. Как только вы загрузите их в несколько динамических кадров Glue, вы можете выбрать столбцы вместе с ключом соединения и присоединить их.

3. Затем объедините эти DynamicFrames и запишите объединенный результат обратно в таблицу MySql RDS.

При таком подходе вы будете загружать все столбцы из нескольких таблиц. а затем выбирая необходимые столбцы внутри вашей работы Glue и присоединяйте их.

Второй подход:

1. Вы можете создать запрос SQL, чтобы выбрать и объединить все эти несколько таблиц и pu sh до MySQL engine .

2. Затем результат вычисляется на MySQL engine и вы загружаете этот результат в Spark DatFrame .

3. Final ste p будет преобразовывать этот DataFrame в DynamicFrame и записывать его в таблицу MySQL.

При таком подходе вы делегируете вычислительную задачу в MySQL, и это повлияет на базу данных. двигатель, если ваши столы слишком большие.