Самый эффективный способ объединения данных между Aurora Postgres и S3 - PullRequest
0 голосов
/ 05 марта 2019

У нас есть бизнес-требование, согласно которому мы постоянно выполняем резервное копирование данных postgres на s3, и теперь нам нужно объединить данные, уже находящиеся в s3, с некоторыми недавними данными, которые не были сохранены в s3 и по-прежнему находятся в postgres.

Я не могу найти прямой способ запросить данные S3 в Aurora Postgres.Лучший способ, который я нашел, - это запрос использовать CREATE TABLE AS (CTAS) через Athena в S3, чтобы уточнить мои данные s3 во временный файл в s3, с помощью AWS Glue получить данные в postgres в другой временной таблице.и затем выполните объединение.

Есть ли лучший способ сделать это?Я уверен, что эти требования довольно распространены.

...