Запуск скриптового скрипта на сервисах AWS

Question

Я собираю данные из inte rnet и хотел бы сделать это автоматически с AWS. Я проверил два решения: AWS конвейер данных и AWS лямбда.

конвейер данных не может получить доступ к веб-сайтам в Интернете. Это правильно?

AWS Лямбда позволяет запускать мою функцию только в течение 15 минут, в то время как мой очистка занимает около 25 минут. Что опять же, это не соответствует моей цели.

Какую AWS службу я должен использовать для своего варианта использования?

Answer 1

Вы можете запустить экземпляр Amazon EC2. Сценарий запуска можно передать через поле «Данные пользователя», которое будет выполняться при первом запуске экземпляра.

Затем, когда задача будет завершена, либо остановите, либо завершите работу экземпляра.

Обратите внимание, что Выбранные вами типы экземпляров Amazon EC2 будут иметь различную пропускную способность сети, что может повлиять на скорость выполнения задачи очистки.

Пожалуйста, всегда соблюдайте Условия и положения вашего целевого веб-сайта (ов), поэтому что ваша очистительная деятельность не нарушает их условия.