AWS DynamoDB для S3

Question

Я хочу переместить (экспортировать) данные из DynamoDB в S3

Я видел это учебное пособие , но я не уверен, будут ли извлеченные данные DynamoDB удалены или сосуществуют вDynamoDB и S3 одновременно.

Я ожидаю, что данные из DynamoDB будут удалены и сохранены в s3 (после времени X, сохраненного в DynamoDB)

Основная цель проекта может бытьбыть похожим на this

Есть ли способ сделать это без необходимости разработки лямбда-функции?

В резюме я нашел это 2 различными способами:

• DynamoDB -> Pipeline -> S3 (удалены данные DynamoDB?)

• DynamoDB -> TTL DynamoDB + поток DynamoDB -> Lambda ->firehose -> s3 (это кажется более сложным)

Является ли эта запись в настоящее время действительной для этой ссылки?

Что было бы самым простыма постился?

Answer 1

В вашем первом варианте, по умолчанию, данные не удаляются из DynamoDB.Вы можете спроектировать конвейер, чтобы это работало, но я думаю, что это не лучшее решение.

При втором варианте вы должны оценить решение на основе ожидаемого объема данных:

1. Если объем данных, срок действия которого истекает в определении TTL, не очень велик, вы можете использовать лямбду для сохранения удаленных данных в S3 без Firehose.Вы можете создать простую лямбда-функцию, которая будет запускаться DynamoDB Stream, и сохранять каждое событие потока в виде объекта S3.Вы даже можете запустить другую лямбда-функцию, чтобы объединить объекты в один файл в конце дня, недели или месяца.Но опять же, исходя из ожидаемого объема.

2. Если у вас одновременно истекает много данных, и вам необходимо выполнить преобразования этих данных, лучшее решение - использовать Firehose,Firehose может продолжить преобразование, шифрование и сжатие ваших данных перед отправкой на S3.Если объем данных слишком велик, использование функций в конце дня, недели или месяца может оказаться невозможным.Так что лучше выполнить все эти процедуры, прежде чем продолжать.