Импорт данных из AWS Athena в экземпляр RDS

Question

В настоящее время я слушаю события от AWS Kinesis и записываю их на S3. Затем я запрашиваю их, используя AWS Glue и Athena.

Есть ли способ импортировать эти данные, возможно, с некоторым преобразованием, в экземпляр RDS?

Answer 1

Существует несколько общих подходов к этой задаче.

1. Считывание данных и запросов Athena в пользовательский сценарий ETL (используя JDBC-соединение ) и загрузка в базу данных
2. Смонтируйте корзину S3, содержащую данные, в файловую систему (возможно, с использованием s3fs-fuse ), прочитайте данные с помощью пользовательского сценария ETL и отправьте их в экземпляр (ы) RDS
3. Загрузите данные для загрузки в экземпляр RDS в файловую систему, используя AWS CLI или SDK , обработайте локально, а затем отправьте в RDS
4. Как вы предлагаете, используйте AWS Glue , чтобы импортировать данные из Афины в экземпляр RDS. Если вы создаете приложение, которое тесно связано с AWS, и если вы используете Kinesis и Athena, то такое решение имеет смысл.

При подключении GLUE к RDS следует помнить о нескольких вещах (в основном в сети:

1. Убедитесь, что Имена хостов DNS включены VPC, на котором размещен целевой экземпляр RDS
2. Вам потребуется настроить правило самоссылки в группе безопасности, связанной с целевым экземпляром RDS

Некоторые примеры кода, предназначенного для реляционной базы данных, см. В следующих руководствах