Как запустить две искровые работы в кластере EMR? - PullRequest
0 голосов
/ 04 мая 2020

У меня есть искровое задание в реальном времени, которое выполняется в кластере EMR, и у меня есть другое пакетное задание, которое выполняется в другом кластере EMR, и это задание запускается в указанное c время. Как запустить оба этих задания в одном кластере EMR?

Любые предложения.

1 Ответ

1 голос
/ 10 мая 2020

Если шаги в обеих EMR не зависят друг от друга, то вы можете использовать функцию под названием Concurrency в EMR для решения вашего варианта использования. Эта функция просто означает, что вы можете запускать более 1 шага одновременно.

Эта функция имеется в версии EMR 5.28.0 . Если вы используете более старую версию, чем эта, вы не можете использовать эту функцию.

При запуске EMR с консоли AWS эта функция называется в пользовательском интерфейсе 'Concurrency' . Вы можете выбрать любое число от 1 до 256.

Если вы запускаете EMR из AWS CLI, то эта функция называется 'StepConcurrencyLevel' .

Подробнее об этом можно прочитать на нескольких шагах в EMR и AWS CLI details

...