как подавить сообщение о регистрации Hadoop на консоли - PullRequest
Новая
       10

как подавить сообщение о регистрации Hadoop на консоли

4 голосов
/ 18 октября 2011

Это сообщение Hadoop Logging, которое я пытался превзойти 

11/10/17 19:42:23 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)
11/10/17 19:42:23 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100
11/10/17 19:42:23 INFO mapred.MapTask: soft limit at 83886080
11/10/17 19:42:23 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600
11/10/17 19:42:23 INFO mapred.MapTask: kvstart = 26214396; length = 6553600

Я полагаю, что они настроены logg 4j.properties в каталоге conf в каталоге установки hadoop. Как бы я ни убрал регистратор, комментируйте из регистратора, и даже переименуйте log4j.properties. Они все еще печатаются. Пожалуйста, порекомендуйте.

Также я подозреваю, что эти массивные сообщения будут влиять на общую производительность, если объем большой. Спасибо,

Ответы [ 2 ]

1 голос
/ 14 мая 2016

Я нашел решение для этого. Все, что ему нужно, это изменение файла конфигурации mapreduce.

  1. mapreduce.map.log.level может принимать значения как OFF, FATAL, ERROR, WARN, INFO, DEBUG, TRACE и ВСЕ.Параметр может быть переопределен, если установлен «mapreduce.job.log4j-properties-file».

  2. mapreduce.reduce.log.level также может принимать значения как OFF, FATAL, ERROR,ПРЕДУПРЕЖДЕНИЕ, ИНФОРМАЦИЯ, ОТЛАДКА, TRACE и ВСЕ.Параметр может быть переопределен, если установлен «mapreduce.job.log4j-properties-file». Поэтому лучше убедиться, что «mapreduce.job.log4j-properties-file» не установлен.

Мы должны установить следующие свойства в mapred-site.xml. 

<property>
<name>mapreduce.map.log.level</name>
<value>OFF</value>
</property>


<property>
<name>mapreduce.reduce.log.level</name>
<value>OFF</value>
</property>

Теперь я не вижу никаких сообщений журнала на консоли. Но это также имеет недостаток, так как мы не можем выяснить какие-либоошибка, возникающая при выполнении кода mapreduce, поскольку сообщения журнала не видны.

1 голос
/ 18 октября 2011

Вы должны увеличить уровень журнала до WARN, я полагаю, что он в настоящее время на INFO. Возможно, вам придется перекомпилировать, потому что свойства могут также содержаться в jar.

...