Фаргейт, Лямбда, другой вариант?что я использую для пользовательской работы с Python?

Question

Я только что закончил создание скрипта Python, который:

• импортирует некоторые модули, такие как запросы, панды и снежинки. Соединитель
• считывает данные из API
• манипулирует данными, используя pandas
• локально сохраняет данные в виде файла CSV
• Подключается к Snowflake (база данных) и загружает данные туда
• по завершении сценария,Мне больше не нужен файл CSV (он будет воссоздан при следующем запуске)

Теперь мне нужен хороший (без сервера / облачный) сервис, где я мог бы запускать скрипт каждый час.

Я новичок в такого рода кодировании Python, не говоря уже об использовании безсерверных функций.

Я надеюсь, что есть что-то простое, например, загрузка моего единственного файла .py, настройка расписания (дажекоманда cron) и сидеть сложа руки и наблюдать за потоком данных в Snowflake.

Может кто-нибудь порекомендовать лучшее решение / конфигурацию для этого?

Answer 1

На этот вопрос нет однозначного ответа.

Вы можете использовать Amazon CloudWatch Events для запуска ваших функций Lambda с помощью выражения cronjob: https://docs.aws.amazon.com/lambda/latest/dg/with-scheduled-events.html

Вы можете использовать Serverless framework, чтобы сделать егопроще: https://serverless.com/

Существует ограничение в 15 минут времени выполнения лямбда-функций, если вам нужно больше, вы можете взглянуть на https://aws.amazon.com/batch/ или https://aws.amazon.com/fargate/