Импорт данных файла из S3 в RDS с этапами преобразования - PullRequest
0 голосов
/ 18 ноября 2018

Я начинающий пользователь AWS и пытаюсь решить вариант использования, в котором мне нужно импортировать данные из CSV-файла, который сбрасывается в корзину S3, в RDS.

У меня есть CSV-файл, который будет загружен в корзину S3, оттуда я хочу запустить собственный сценарий Python для запуска с этими данными, этот сценарий будет создавать набор метрик / скоринга для данных.Затем я хотел бы преобразовать эти выходные данные из скрипта Python (для создания нескольких таблиц) и загрузить их в таблицы, чтобы они соответствовали моей схеме базы данных RDS.

Я посмотрел на AWS Data Pipeline и AWS Glue, но не совсем уверен, какие сервисы использовать.Любые идеи будут с благодарностью.

...