SQS Trigger Lambda с FileName в S3 для извлечения текста

Question

У меня есть сценарий использования, у меня есть список PDF-файлов, хранящихся в S3 Bucket, я перечислил их и отправил в SQS для извлечения текста, создал одну лямбду для обработки этих файлов, предоставив информацию о корзине и TextExtraxtion AWS.

Проблема в том, что лямбда получает тайм-аут, так как SQS запускает несколько лямбда-экземпляров всех файлов, и все они ожидают, что служба извлечения текста.

Лямбда запускает один за другим для всехСообщение SQS (FileName), поэтому время ожидания не возникает, поскольку у нас есть ограничение на доступ к AWS TextExtract

Answer 1

Обработка более 100 файлов - это трудоемкая задача, я бы посоветовал брать не более 10 файлов за одно лямбда-выполнение.

Использовать SQS с Lambda в качестве источника событий. https://dzone.com/articles/amazon-sqs-as-an-event-source-to-aws-lambda-a-deep