Как выполнить шаги EMR сначала последовательно, а затем параллельно? - PullRequest
0 голосов
/ 29 апреля 2020

enter image description here

Этот процесс может быть легко реализован с помощью механизма оркестровки, такого как Step Function, но по какой-то причине мы не можем его использовать. Здесь я хочу понять, можем ли мы выполнить какие-то манипуляции с кодом для параллельного выполнения после шага 2, когда шаг 3 и шаг 4 будут выполняться параллельно, а после шага 4 он будет последовательно выполнять шаг 5.

Любая ссылка на то, как могу ли я достичь этого или кто-то еще? Спасибо

1 Ответ

0 голосов
/ 30 апреля 2020

Как вы сказали, по какой-то причине вы не можете go с пошаговой функцией, вы можете попробовать Ooz ie.

Ooz ie - это система планировщика рабочих процессов для управлял Apache имел oop рабочих мест. Это также служба, управляемая EMR, одним щелчком мыши для установки. Ooz ie задания - это направленные ациклические графы (DAG).

...