AWS лямбда-функция и Афина для создания секционированной таблицы

Question

Вот мои требования. Каждый день я получаю CSV-файл в корзину S3. Мне нужно разделить эти данные и сохранить их в Parquet, чтобы в конечном итоге сопоставить таблицу. Я думал об использовании лямбда-функции AWS, которая запускается всякий раз, когда загружается файл. Я не знаю, как это сделать.

Answer 1

Есть (как обычно в AWS!) Несколько способов сделать это, два первых, которые приходят мне на ум первыми:

1. с использованием события Cloudwatch с объектом S3 PutObject level) в качестве триггера и лямбда-функцию, которую вы уже создали в качестве цели.
2. , начиная с лямбда-функции, немного проще добавить триггеры с суффиксной фильтрацией, например, для любого файла .csv, с помощью перейдя в конфигурацию функции в консоли и в разделе конструктора добавив триггер, затем выберите S3 и действия, которые вы хотите использовать, например сегмент, тип события, префикс, суффикс.

В обоих В любом случае вам потребуется написать лямбда-функцию для выполнения описанной вами работы, а также потребуется IAM-доступ к корзине для извлечения файлов и их обработки.