AWS Emr с планировщиком пряжи - PullRequest
0 голосов
/ 08 января 2019

Я создаю AWS EMR, используя шаблон облачной информации. Мне нужно запустить шаги параллельно. Для этого я пытаюсь изменить планировщик YARN с FIFO на планировщик ярмарки / емкости.

Я добавил:

yarn.resourcemanager.scheduler.class : 'org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler'

Нужно ли добавить FairScheduler.xml файл в папку conf.empty? Если да, не могли бы вы поделиться файлом XML. и если я хочу добавить fairscheduler.xml через шаблон облачной информации, то нужно ли для него использовать начальную загрузку? если да, не могли бы вы предоставить мне файл начальной загрузки, пожалуйста.

1 Ответ

0 голосов
/ 11 января 2019

Похоже, что даже после изменения планировщика EMR не позволяет запускать задания одновременно.

...