Как загрузить CSV-файл в базу данных AWS Aurora (реляционная база данных), используя AWS Glue?

Question

У меня есть CSV-файл, который будет присутствовать (ежедневно новый файл) в корзине S3.Отсюда я пытаюсь использовать AWS Glue для извлечения, преобразования и загрузки в базу данных AWS Aurora.Aurora DB спроектирована как нормализованная реляционная база данных, мне нужно загрузить CSV в эту реляционную базу данных с информацией, отображаемой между несколькими таблицами.

Шаги, которые я пытаюсь: 1) Изменить скрипт Python для выполнения операции загрузки.

Хотели бы узнать, есть ли другой способ выполнить эту операцию загрузки?

Answer 1

RDS Aurora предоставляет встроенную функцию, позволяющую загружать данные из файла CSV, находящегося в корзине S3, с помощью «ЗАГРУЗИТЬ ДАННЫЕ ИЗ S3 в ТАБЛИЦУ».Вам необходимо добавить соответствующие роли IAM и настроить их в группах параметров Aurora.

Мы используем эту функцию в течение последнего года, и она работает нормально.Вы также можете сделать обратное, например, выгрузить данные из таблицы в корзину S3.Можете ли вы проверить следующую ссылку для получения дополнительной информации и тестирования.Надеюсь, я правильно понял ваш вопрос?

https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Integrating.LoadFromS3.html

Спасибо,

Юва