Скопируйте данные из PostgreSQL в S3 с помощью AWS Data Pipeline

Question

Я пытаюсь скопировать все таблицы из схемы (PostgreSQL, более 50 таблиц) в Amazon S3.

Каков наилучший способ сделать это? Я могу создать 50 различных операций копирования, но есть ли простой способ скопировать все таблицы в схеме или написать один конвейер и цикл?

Answer 1

Так как у вас большое количество столов. Я бы рекомендовал использовать AWS Glue по сравнению с AWS Data Pipeline. Glue легко конфигурируется с помощью сканеров и т. Д., Что позволяет гибко выбирать столбцы, определять и т. Д. Кроме того, лежащие в его основе задания в AWS Glue - это задания pyspark, которые действительно хорошо масштабируются и обеспечивают действительно хорошую производительность.

Answer 2

Я думаю, что старый метод:

 1. Unload your data from PostgreSQL to a CSV file first using something like psql  
 2. Then just copy the csv to S3

Но AWS дает скрипт для этого, RDSToS3CopyActivity См. эту ссылку от AWS