Сбойное задание завершается с "org.apache.hadoop.mapreduce.counters.LimitExceededException: слишком много счетчиков: 121 max = 120" - PullRequest
Новая
       43

Сбойное задание завершается с "org.apache.hadoop.mapreduce.counters.LimitExceededException: слишком много счетчиков: 121 max = 120"

0 голосов
/ 21 января 2019

Мы обрабатываем 50 миллионов данных, и после обработки в конце мы используем функцию ранга в сценарии pig, и задание pig терпит неудачу при выполнении функции ранга, и мы получаем ошибку ниже: "org.apache.hadoop.mapreduce.counters.LimitExceededException: слишком много счетчиков: 121 max = 120 "

Мы использовали приведенную ниже команду в сценарии pig, но мы все еще получаем ту же ошибку:

set mapreduce.job.counters.max 1000

Я был бы очень признателен, если бы кто-нибудь смог мне помочь с этой ошибкой или мог бы предоставить мне альтернативный способ использования функции ранга для 50 + миллионов обработанных данных.

1 Ответ

0 голосов
/ 29 января 2019

Проверьте предельное значение счетчика mapred-site.xml. Скорее всего, ограничение установлено в 120 в этом файле. Файл находится в вашем домашнем каталоге hadoop, например: $ HADOOP_HOME / conf / mapred-site.xml 

<property>
    <name>mapreduce.job.counters.limit</name>
    <value>1000</value> -- Most likely this is set to 120 in your case.
</property>

В Hadoop 2.0 его mapreduce.job.counters.max

<property>
    <name>mapreduce.job.counters.max</name>
    <value>1000</value> -- Most likely this is set to 120 in your case.
</property>
...