Цель, которую я хочу достичь sh, - создать файл таблицы, чтобы впоследствии его можно было проверить на данные (ежемесячные расчеты). На данный момент я создал резервную копию с использованием опции PipeLine из DynamoDB в корзину S3, но:
- Это занимает слишком много времени, так как конвейер работает более 24 часов с момента таблица, которую я экспортирую, имеет размер 7 ГБ в формате DynamoDB (который сжимается, и для завершения sh с резервным копированием потребуется еще больше времени;
- Мне нужно будет делать это ежемесячно, что означает, что я буду нужны только данные между первым и последним днем месяца, в то время как PIPELINE может создать резервную копию. Я не смог найти вариант, чтобы сделать так, чтобы экспортировались только изменения в таблице из указанных c временных шкал;
- Файлы, которые экспортирует конвейер, имеют размер около 10 МБ каждый, что означает сотни файлов вместо пары (например, 100 МБ файлов или 1 ГБ файлов).
В этом случае я Интересно, есть ли другой способ, которым я могу сделать полную резервную копию текущей информации и затем делать месяц за месяцем изменения, которые были выполнены (что-то как ежемесячный прирост) и не иметь миллионов файлов размером 10 МБ.
Любые комментарии, разъяснения, примеры кода, исправления приветствуются.
Спасибо за ваше время.