Экспорт данных из таблицы MariaDB RDS в S3 - сбой конвейера данных

Question

Моя цель - экспортировать большую (~ 300 ГБ) таблицу в csv / tsv в S3 для длительного хранения (в основном, если кто-то ХОЧЕТ взглянуть на него в ближайшие годы, он может, но это не обязательно).быть доступным онлайн).Мне нужно скопировать ТОЛЬКО ЭТУ ОДИН ТАБЛИЦУ, а не весь БД.

После некоторого быстрого поиска в Google, казалось, что Data Pipeline был подходящим вариантом.К сожалению, конвейеры данных не работают с No space left on device, что, по-видимому, связано с тем, что он не поддерживает многоэтапную загрузку (https://forums.aws.amazon.com/message.jspa?messageID=730566)

Поддержка AWS предложила увеличить размер корневого тома EBS, что я и сделал, создав собственный AMIбезрезультатно.

Я также пытался настроить свой собственный Linux-компьютер с sqoop на нем, но, к сожалению, он зависает через день или два при выполнении запроса.

Какой самый простой способсбросить только одну таблицу из частного RDS в S3?

Answer 1

Я предлагаю вам запустить экземпляр Micro EC2 с огромным объемом EBS, например, 400 ГБ.Затем напишите простой сценарий оболочки (2 строки кода) для экспорта (используя mysqldump) каждой таблицы и затем используйте команду aws s3 cp, чтобы скопировать ее в S3.Вы должны знать, что если таблицы обновляются в реальном времени;затем использование этого метода может привести к потере хранилища данных на S3.

Сначала начните с меньших таблиц, чтобы убедиться, что они работают.mysqldump работает для действительно огромных таблиц.