У меня есть коллектор, который записывает события в мое хранилище S3, затем мне нужно использовать команду COPY для загрузки этих данных в AWS Redshift. Эти события исходят от SendGrid и около 11 тем, SendGrid предоставил 11 таблиц DDL. Файлы событий содержат 11 тем в одном файле, мне нужно разделить их на 11 частей в зависимости от их содержимого, а затем выполнить команду COPY для достижения моей цели.
Попытка использовать AWS лямбда для создания функций для выполнениякоторый, с ограниченными навыками Python, не мог с этим справиться.
Я бы не поместил туда все содержимое файла событий, картинка - пример. Каждую часть в паре {} нужно будет загрузить в одну таблицу в красное смещение, их значением «event» будет таблица назначения. (Обработано, отложено и т. Д.)