Как установить setMaxMapTaskFailuresPercent в новый API Hadoop?

Question

Раньше вы могли установить максимальный процент отказов, используя:

JobConf.setMaxMapTaskFailuresPercent(int)

но теперь это устарело.

 job.getConfiguration().set("mapred.max.map.failures.percent", "100");

, похоже, тоже не работает. Как правильно сделать это в новом apad hadoop?

Answer 1

На 1.0.2 список поддерживаемых опций дан в http://hadoop.apache.org/common/docs/r1.0.2/mapred-default.html,, это можно передать как системное свойство java через значение java -DoptionName = при запуске задания сокращения карты.

Также, чтобы установить их через командную строку, см.

http://hadoop.apache.org/common/docs/r1.0.2/mapred_tutorial.html#Job+Configuration

Answer 2

Если вы хотите быстро найти правильные имена для параметров для нового API Hadoop, используйте эту ссылку: http://pydoop.sourceforge.net/docs/examples/intro.html#hadoop-0-21-0-notes.