Есть ли идиоматический способ агрегирования событий перед их обработкой в ​​AWS Lambda?

Question

У меня есть функция AWS Lambda, которая обрабатывает события из S3. Я хотел бы объединить их перед обработкой и позволить лямбда-обработке пакета.

Это изображено ниже:

В идеале я хотел бы иметь возможность указать размер пакета и время ожидания (скажем, одно четное, а затем ничего в течение 5 секунд, я хотел бы отправить пакет из 1 события).

Есть ли идиоматический способ сделать это, используя Lambda или другие сервисы AWS?

Answer 1

Я думаю, что вы можете выполнить пакетную операцию, установив очередь SQS в качестве пункта назначения для уведомления S3. Допустим, вы хотите указать размер пакета 20, все ваши события S3 отправляются в SQS. Вы должны создать правило CloudWatch для запуска лямбды, когда в вашем SQS есть 20 элементов. Ваша лямбда будет опрашивать SQS для получения партии из 20 предметов и обрабатывать их.

Вы также можете установить триггеры SQS , но он ограничен максимальным размером партии 10.