Как синхронизировать весь каталог данных с RDS

Question

Моя цель - всегда автоматически реплицировать корзину S3 со схемой в RDS (MSSQL).

У меня есть сканер Glue, который запускается лямбда-функцией при каждой загрузке S3. Следовательно, каталог данных всегда синхронизирован с S3. Я могу создавать задания Glue, которые автоматически загружают определенную таблицу из каталога. Если пользователь загружает новую таблицу с новыми столбцами, я должен вручную создать новую работу для этой таблицы. Есть ли способ автоматизировать этот ручной шаг?

Answer 1

Если вы хотите задействовать некоторую логику, когда ваш сканер обнаруживает новую таблицу, я бы посоветовал вам создать Правило события Cloudwatch для изменения состояния в сервисе Glue. В частности, вы можете вызывать службу (то есть функцию Lambda) при изменении состояния базы данных или таблицы каталога данных.

Эта лямбда-функция может проверять событие изменения состояния и использовать один из SDK для создания задания для новой таблицы.