Скопируйте из динамодб в s3 - PullRequest
0 голосов
/ 20 мая 2019

У меня есть таблица DynamodB с данными примерно 10 ГБ.Мне нужно выгрузить его на s3 или в хранилище данных за промежуток времени менее 5 минут.Мне нужно знать, есть ли какое-нибудь решение, которое может сделать это возможным.Или, если это вообще возможно, сделать это в течение 5 минут.Дайте мне знать, если кто-нибудь пробовал это когда-либо.

Я пытался использовать клей и копирование для красного смещения, но безуспешно.Копирование и передача данных занимает много времени.

1 Ответ

0 голосов
/ 20 мая 2019

10 ГБ данных, подлежащих передаче в течение 5 минут, равны ~ 33,3 МБ / с скорости передачи. Это просто, если вы держите трафик в пределах AWS. Обязательно, как упомянул @JohnRotenstein, сохранить IOP таблицы выше этого порога.

В AWS есть руководство по экспорту таблицы DynamoDB в S3 с использованием конвейера данных:

https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-part2.html

...