Лучший способ архивировать записи DynamodB?

Question

У меня есть таблица с примерно 6 миллионами записей, и я хочу начать архивирование записей. Я думал о создании резервной версии той же таблицы и перемещении записей, когда они удовлетворяют критериям архивации. Однако мне сказали, что также можно использовать Hive для копирования этих данных на S3.

Может кто-нибудь объяснить, почему я бы предпочел скопировать данные в корзину S3, а не сохранять их в другой таблице DynamodB.

Спасибо!

Answer 1

DynamomDB имеет механизм времени жизни, и вы можете установить поток удалений записей, который вызовет AWS лямбду и поместит данные в S3. Проверьте это подробное руководство о том, как его настроить. Кроме того, вы можете попробовать AWS конвейер данных с кластером EMR, который является распространенным способом настройки однократной или периодической миграции.

Если вы активно используете операции полного сканирования поверх DynamoDB, тогда лучше архивировать и удалять записи, которые вы не используете. Если вы запрашиваете записи только по первичному ключу, то, скорее всего, архивация не стоит усилий. Вы можете проверить счет, но при хранении первые 25 ГБ в DynamoDB бесплатны .