Для потоковых связанных заданий -> ключ должен был бы избежать ввода-вывода в вашем случае - поскольку задание, похоже, занимает всего 15 секунд.Поместите ваши сообщения в очередь (AWS SQS).Имейте функцию шага AWS, запускаемую событием Cloudwatch (реализует расписание, подобное Cron, в вашем случае каждые 30 минут - для вызова функции шага AWS), чтобы читать сообщения из SQS и идеально обрабатывать их в лямбда-выражениях.
Итакодна опция (без сервера):
Потоковая передача сообщений -> AWS SQS -> (каждые 30 минут cloudwatch запускает пошаговую функцию) -> которая запускает лямбда-сервис для обработки всех сообщений в очереди
https://aws.amazon.com/getting-started/tutorials/scheduling-a-serverless-workflow-step-functions-cloudwatch-events/
Вариант 2:
Потоковая передача сообщений ---> AWS SQS -> Обработка сообщений с использованием приложения Python / приложения Java Spring, имеющего запланированное задание, которое активируется каждые 30 минут ичитает сообщения из очереди и обрабатывает их в памяти.
Я использовал вариант 2 для решения аналитических задач, хотя моя аналитическая задача заняла 10 минут и требовала большого объема данных. Кроме того, для варианта 2 необходим мониторинг виртуальной машины (контейнер), где выполняется процесс.С другой стороны, Вариант 1 без сервера.Наконец, все сводится к программному стеку, который у вас уже есть, и программному обеспечению, необходимому для обработки потоковых данных.