AWS S3 в RDS Serverless Aurora (PostgreSQL) программно - PullRequest
0 голосов
/ 27 мая 2020

Я ищу решение, которое может ежедневно загружать от 6 до 8 таблиц в RDS. В указанных таблицах указаны c ключевые отношения, поэтому они должны быть включены в базу данных.

В настоящее время мне сложно найти оптимальное решение для загрузки данных для этих 6-8 таблиц в RDS программно. Какие службы в настоящее время оптимальны для этого?

Lambda

Данные немного слишком велики для объема памяти Lambda.

Datapipeline

Не понятно, как это будет работать с бессерверной Aurora, и для этого также требуются запланированные экземпляры ec2 (разрывается с бессерверным шаблоном).

Загрузить данные S3 в Amazon RDS MySQL Таблица - AWS Data Pipeline

Клей?

Клей, кажется, больше подходит для Redshift.

Так что я немного не понимаю, какое решение лучше всего подходит для этого. Помощь будет признательна.

1 Ответ

0 голосов
/ 27 мая 2020

Вы должны попробовать AWS Date Pipeline. Вкратце, это шаги:

  • Создание роли и присоединение политики сегмента S3
  • Настройка группы параметров кластера
  • Редактирование групп параметров для использования роли
  • Перезагрузите экземпляр Aurora

Это, Загрузка данных в Amazon Aurora MySQL, для MySQL.

Загрузка данных с помощью PostgreSQL должна быть очень похожей.

...