Планировщики Hadoop vs oozie - PullRequest
       25

Планировщики Hadoop vs oozie

0 голосов
/ 26 августа 2018

В чем разница между планировщиками Oozie и Hadoop (FIFO, Fair, Capacity, Delay и т. Д.)?Какой из них обычно используется в производственных средах?

1 Ответ

0 голосов
/ 27 августа 2018

Они предлагают различные функции.

Oozie - это планировщик заданий и механизм оркестровки.Он выполнит задания YARN в настроенной очереди.Например, mapreduce.job.queuename в действии MR / Java, tez.queue.name в действии Hive (в Tez) или --queue в Spark.

Очередь, которую вы используете, зависит от рабочих нагрузок, которые у вас есть, но Fair или Capacity лучше всего подходят для многопользовательских рабочих нагрузок.

Порядок FIFO в очереди работает лучше всего, если у вас есть задания, которые нужно запускать раньше других, хотя у Oozie есть свое собственное определение порядка полной работы

Также: Job andПланирование задач в Hadoop

...