Передача данных из S3 в Postgres RDS в AWS - PullRequest
0 голосов
/ 09 марта 2020

Я новичок в AWS и пытаюсь найти способ загрузить данные из S3 в RDS. В моем текущем подходе я использую EC2 экземпляр, чтобы сделать это (где мое приложение работает). Я думал об использовании лямбды, но мои данные будут иметь около (22 миллиона записей), и мой текущий подход занимает 4 часа. И лямбда-тайм-аут составляет 15 минут (поэтому лямбда-подход не работает в этом случае). Проблема с моим текущим подходом состоит в том, что эти файлы данных могут быть такими же, как в месяц, и я не хочу, чтобы EC2 выполнял только эту задачу. Любые альтернативы в мире без серверов будут полезны. Спасибо

Примечание: The data is loaded from S3 to RDS based on SQS, i,e my application is pulling the messages from SQS which will then load the data into RDS

...