ETL от AWS DataLake до RDS

Question

Я относительно новичок в DataLakes, и я прохожу некоторые исследования для проекта на AWS.

Я создал DataLake и у меня есть таблицы, сгенерированные из Glue Crawlers, я могу видеть данные в S3 и запрашиватьэто с помощью Афины. Пока все хорошо.

Требуется преобразовать части данных, хранящихся в памяти данных, в RDS, чтобы приложения могли считывать данные. Каково лучшее решение для ETL от S3 DataLake до RDS?

В большинстве постов, с которыми я сталкивался, говорится об ETL от RDS до S3, а не наоборот.

Answer 1

Создавая клейкое задание с использованием типа задания Spark, я смог использовать свою таблицу S3 в качестве источника данных и Aurora / MariaDB в качестве места назначения.

Попытка сделать то же самое с типом задания Python не позволила мне просмотреть какие-либо таблицы S3 на экранах мастера склеивания заданий.