У нас есть поставщик, который предоставляет нам файлы данных (4/5 файлов ~ 10 ГБ каждый) на ежемесячной основе. Они предоставляют эти файлы на своем FTP-сайте, к которому мы подключаемся, используя предоставленные ими имя пользователя и пароль. Мы загружаем zip-файлы, распаковываем их, извлекаем некоторые соответствующие файлы, Gzip их и загружаем в нашу корзину s3, а оттуда мы отправляем sh данные в Redshift.
В настоящее время у меня есть сценарий python который работает на экземпляре EC2, который делает все это, но я уверен, что существует лучшее «бессерверное» решение (в идеале в среде AWS), которое может сделать это за меня, поскольку это не кажется уникальным вариантом использования.
Ищу рекомендации / альтернативные решения для обработки этих файлов.
Спасибо.