Если я изменил конфигурацию mapreduce, я должен перезапустить пряжу - PullRequest
0 голосов
/ 22 января 2020

Например, в моей системе запущено задание MapReduce. И я изменяю mapreduce.task.io.sort.mb конфигурацию в mapred-site.xml. Будет ли динамический параметр выполнения этой задачи изменяться? Или mapreduce.task.io.sort.mb параметр вступит в силу при следующем запуске? Или мне нужно перезапустить систему, чтобы параметры вступили в силу.

В последнее время я хочу разработать автоматическую c систему настройки параметров для Had oop, которая может динамически изменять параметры в соответствии с нагрузкой система во время выполнения задачи. Но я не знаю, как его развивать. Если бы oop официально предоставил соответствующий API, я надеюсь, что кто-то может дать мне несколько советов.

1 Ответ

0 голосов
/ 22 января 2020

Если ваша конфигурация указана для кластера c, вам необходимо перезапустить весь кластер, с другой стороны, если задано задание c, перезапустите вашу работу, чтобы она вступила в силу. Некоторые свойства фактически задаются кластером c. Свойство mapreduce.task.io.sort.mb может иметь оба значения.

Нет способа изменить свойства во время выполнения задания. Перезапустите свою работу, чтобы вступить в силу.

...