Нужен совет - запуск кода Python на GOOGLE CLOUD PLATFORM без сервера

Question

У меня есть код Python, который считывает данные из одной облачной системы через API-интерфейсы rest с помощью модуля запросов, а затем записывает данные в другую облачную систему через API-интерфейсы rest.Этот код выполняется от 1 до 4 часов каждую неделю.Есть ли место в Google Cloud Platform, я могу выполнять этот код периодически.Вроде как запланированная пакетная работа.Есть ли серверная опция для этого в App Engine.Я знаю о службе cron App Engine, но похоже, что она предназначена только для регулярного вызова URL.Какие-нибудь мысли ?Ценю твою помощь.

Answer 1

Вы можете использовать Google Genomics API pipelines.run конечную точку, чтобы запустить длительное задание на виртуальной машине Google Compute Engine , а затем она уничтожит машину после завершения работы,Если ваша работа будет выполняться менее 24 часов и может справиться со сбоем, вы можете использовать Preemptible VM для экономии затрат.

Конвейеры: Выполнить

https://cloud.google.com/genomics/reference/rest/v2alpha1/pipelines/run

Выжимаемые виртуальные машины

https://cloud.google.com/preemptible-vms/

Вы можете использовать Cloud Scheduler дляначало работы

Конвейеры могут быть предпочтительнее, чем попытки использовать одну из безсерверных технологий, потому что они также не склонны обрабатывать долго выполняющиеся задания.

Answer 2

Google Cloud Scheduler может быть инструментом, который вы ищете.Как упоминается в документации:

Cloud Scheduler - это полностью управляемый планировщик заданий cron корпоративного уровня.Он позволяет вам планировать практически любую работу, , включая пакетную , работу с большими данными, операции облачной инфраструктуры и многое другое.Вы можете автоматизировать все, включая повторные попытки в случае невозможности уменьшить ручной труд и вмешательство.

Здесь у вас есть быстрый запуск для Cloud Scheduler, а также другое руководство дляCron задания .