Какой планировщик использовать в основном для отправки искрового задания в кластер Google Cloud Datapro c? - PullRequest
0 голосов
/ 08 февраля 2020

У меня мало искровых заданий, которые мне приходится планировать дважды или трижды в день, в зависимости от требований процесса и его вида пакетного задания. У нас была такая настройка в системе OnPremise Had oop и использование Apache Ooz ie Workflow для оркестровки. Поскольку мы находимся в Google Cloud, будут ли работать те же настройки, или мне следует переключиться на Composer. Я знаю, Composer - это управляемый сервис, предоставляемый Google, а для Ooz ie мне нужно выполнить настройку. Но в случае Ooz ie изменения кода будут минимальными, а в случае Composer мне придется изменить задание планировщика, что может привести к минимальным изменениям процесса. Я даже не знаю, будет ли интеграция Ooz ie работать должным образом или нет, так как это будет похоже на внешний сервис для облака. Какой планировщик сэкономит мое время, а также больше подходит для этого вида пакетной работы.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...