Есть ли в GCP канонический способ очистки данных из API?

Question

Я создаю приложение, которое будет периодически извлекать данные из нескольких API и записывать их в облачное хранилище для последующей обработки в потоке данных.Есть много разных способов сделать это, поэтому я хотел проверить работоспособность до того, как подключился.

Мой план таков:

• Для каждого API Cloud Scheduler достигнет конечной точки дляприложение App Engine
• Приложение создаст экземпляр виртуальной машины Compute Engine со сценарием запуска, который извлекает данные из API и записывает их в хранилище
• По завершении виртуальная машина достигнет другой конечной точки.в приложении App Engine, которое отключает виртуальную машину.

Это разумный способ выполнить такое действие?Есть более простой или более прямой метод?Заранее благодарю за ответы.

Answer 1

Cloud Scheduler может планировать Compute Engine без App Engine , однако кажется, что вы не можете создавать и удалять виртуальную машину с помощью этого метода.

Answer 2

Вы можете просто использовать задания App Engine cron для планирования задач.Ваш обработчик приложений App Engine может просто запустить скрипт, который извлекает данные из API.Может быть, я что-то упустил, зачем вам нужен экземпляр Compute Engine для запуска скрипта?