Как запустить код Python в облачной службе, чтобы автоматизировать ее запуск в течение 5 дней

Question

Я работаю над проектом очистки веб-страниц с использованием Python и API. Я хочу, чтобы скрипт Python запускался ежедневно в течение 5 дней в течение 12 часов в качестве работы. Я не хочу поддерживать свою систему в рабочем состоянии, чтобы делать это в CMDили в Jupyter, поэтому я искал решение, в котором любой облачный сервис помог бы мне автоматизировать процесс

Answer 1

Один из способов сделать это - написать веб-скребок на Python и запустить его на AWS Lambda, который, по сути, является серверной функцией без каких-либо базовых операций для управления. В зависимости от вашего варианта использования вы можете либо выполнить какое-либо действие в зависимости от содержимого данных этой страницы, либо записать результат в S3 в виде файла.

Чтобы ваша функция выполнялась регулярно, вы можете установить триггер события AWS Lambda в качестве события CloudWatch (в этом случае некоторый повторяющийся таймер с любой частотой / временем, например, один раз в час). в течение 12 часов в пн-пт).

Обычно это будет более простой подход по сравнению с раскруткой виртуального сервера (экземпляр EC2) и управлением постоянным процессом, который может привести к ошибке во время ожидания / операции по любому числу причин.