CSV для AWS для DynamoDB на плановой основе

Question

Мне интересно, если возможно, спросить ваши отзывы и мнения о том, как лучше всего запланировать загрузку CSV-файла по расписанию в DynamoDB.

У нас есть список имен, который экспортируется из нашей CRM (экспортированный список CSV обновляется каждый день, если мы удаляем имена из нашей CRM, он будет уменьшаться)

Мы ежедневно получаем файл CSV через SFTP, и я хотел загрузить его в DynamoDB для использования в наших облачных программах. Я очень плохо знаком с сервисами AWS, и недавно на моем рабочем месте, и после некоторого исследования я подумал, что могу использовать такой поток:

Передача AWS для SFTP -> S3 Bucket -> (Расписание) -> DynamoDB

Для расписания, которое я думал об использовании Data Pipeline или запланированного действия Lambda.

Ждем ваших ответов и предложений, и, пожалуйста, дайте мне знать, если бы я мог предоставить больше информации.

Answer 1

Ваш подход уже довольно хорошо разработан.Есть одна деталь, которую вы все еще можете оптимизировать, и именно так запускается ваша функция AWS Lambda.Вы упомянули конвейер данных или запланированный вызов функции, но лучше и проще было бы использовать S3 Events для запуска вашей функции AWS Lambda .Благодаря этому вы можете получить функцию AWS Lambda для каждого нового объекта, поступающего в S3.

Если вы используете AWS SAM для предоставления ресурсов AWS, в репозитории SAM Github есть пример для этого варианта использования: https://github.com/awslabs/serverless-application-model/blob/master/examples/2016-10-31/s3_processor/template.yaml