Как составить график конвейера с помощью APP Engine в облачном планировщике Google - PullRequest
1 голос
/ 09 октября 2019

Я читаю облачный планировщик Google, чтобы запланировать мой пакетный конвейер. https://cloud.google.com/scheduler/docs/quickstart

Я хочу запускать пакетный конвейер один раз в день. Я читал, что "APP ENGINE" может планировать конвейер. Я попытался выяснить в переполнении стека и Google, однако я не нашел, как именно движок приложения может планировать пакетный конвейер? Есть ли другой способ планирования пакетного конвейера с помощью облачного планировщика? Один из способов, который я обнаружил, заключается в том, чтобы поддерживать конвейер и каждый час сбрасывать сообщения pub-sub с помощью облачного планировщика и запускать работу. Но это дорогая и неудобная операция.

Теперь я хочу узнать, как именно движок приложения может помочь планировать пакетный конвейер. Заранее спасибо

Ответы [ 2 ]

0 голосов
/ 15 октября 2019
Still I am not clear about it. I have created app engine in the project. Added servlet in the app engine . Then created servelet                        

@WebServlet(name = "dataflowscheduler", value = "/dataflow/schedule")
public class DataflowSchedulingServlet extends HttpServlet {
  @Override
  public void doGet(HttpServletRequest req, HttpServletResponse resp) throws IOException {
    Batchpipleine.run();
  }
}    

Batchpipeline is the java class which has run method. Run method has all steps for pipeline execution like pubs reading message, windowing, storing to db etc.

Am I on right path ?

Cloud scheduler app :
Name : Test pipeline 
Description: This will trigger batch job
Frequency : */5**** 
Traget : /dataflow/schedule

Is target correct?

Is this way to run pipeline using app engine?
Do you have any guidance or process which include process to run pipeline using app engine other than  document mentioned above 
0 голосов
/ 11 октября 2019

Теперь я хочу узнать, как именно движок приложения может помочь планировать пакетный конвейер.

Согласно FAQ :

Вы можете автоматизировать конвейервыполнение:

  • Использование Google App Engine (только для гибкой среды) или облачных функций.

Более подробную информацию о том, как планировать пакетные конвейеры с помощью App Engine, можно найти здесь и здесь

Дайте мне знать, если это полезно для вас.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...