Тайм-аут проблемы с массовой обработкой файлов с помощью AWS Lambda

Question

У меня есть лямбда-функция, которую я ожидаю превысить 15 минут времени выполнения.Что мне делать, чтобы он работал непрерывно, пока я не обработаю все мои файлы?

Answer 1

Если можете, выясните, как масштабировать рабочую нагрузку по горизонтали.Это означает разделение вашей рабочей нагрузки, чтобы она работала на многих лямбдах вместо одной «супер» лямбды.Вы не предоставляете много подробностей, поэтому я перечислю несколько общих способов сделать это:

• Создайте очередь SQS, и каждая лямбда снимает один элемент с очереди и обрабатывает его.
• Используйте триггер S3, чтобы при добавлении нового файла в корзину лямбда-обработчик этого файла.

Если вам абсолютно необходимо обрабатывать более 15 минут, вы можете посмотреть вдругие безсерверные технологии, такие как AWS Fargate .Возможности без сервера могут включать AWS Batch или EC2.

Answer 2

15 минут - это максимальное время выполнения, доступное для функций AWS Lambda.

Если ваша обработка требует больше, чем это, вы должны разбить ее на более чем одну лямбду.Вы можете запускать их последовательно или параллельно в зависимости от логики выполнения.