В настоящее время я работаю над проектом по извлечению данных из базы данных Aurora, запуску их через SSIS и повторной загрузке в облако.Тем не менее, я прочитал, что коннектор MySQL для SSIS для Aurora может сломаться и зависает в случайное время (с некоторыми настройками оптимизации, чтобы сделать его немного лучше).Вместо этого я решил извлечь данные из Aurora в S3, загрузить их с передачей файлов Premium на мой локальный компьютер, запустить процесс ETL, повторно загрузить данные в S3 и затем отправить их в Aurora DB.
Итак, пара вопросов: это лучший способ для разработки этого процесса?Следует ли использовать клей или конвейер для загрузки данных в базу данных и из нее, а также в корзину S3?Как мне выполнить вставки, обновления и удаления в базе данных Aurora с CSV?Как лучше всего автоматизировать этот процесс?Спасибо за вашу помощь!