Как выполнить сценарий SQL, хранящийся в S3, кроме службы DataPipeline

Question

Мы работаем над использованием сервисов AWS для ежедневного планирования нескольких сценариев sql. Datapipeline - хороший вариант, но мы обнаружили проблемы с базовыми системами поддержки, которые являются Task runner. Есть ли другие варианты, которые мы можем искать. Лямбда имеет ограничение 300 секунд. И запрос, который мы используем, будет превышать 5 минут. Любые предложения / обходные пути приветствуются. !!

Answer 1

Вы на правильном пути. Используйте лямбду только для того, чтобы начать работу, а не для выполнения реальной нагрузки.

Например, упакуйте свое приложение в контейнер Docker, переместите его в ECR и используйте Lambdas для периодического добавления пакетного задания AWS.