Почему Ooz ie проваливает задание с кодом ошибки LimitExceededException, когда yarn сообщает, что задание ooz ie launcher и mapreduce выполнено успешно? - PullRequest
Новая
       160

Почему Ooz ie проваливает задание с кодом ошибки LimitExceededException, когда yarn сообщает, что задание ooz ie launcher и mapreduce выполнено успешно?

0 голосов
/ 14 июля 2020

Есть несколько подобных вопросов по SO. Однако у меня ничего не получилось. Итак, я отправляю этот вопрос.

Я использую CDH 6.2.1

У меня есть рабочий процесс с действием уменьшения карты. Задание map-reduce создает множество счетчиков (я думаю, что задание m / r производит ~ 300 счетчиков).

Я установил для свойства cdh / yarn / config mapreduce.job.counters.max значение 8192.

Я также установил:

  • YARN Service Advanced Configuration Snippet (Safety Valve) for yarn-site.xml
  • YARN Service MapReduce Advanced Configuration Snippet (Safety Valve)
  • MapReduce Client Advanced Configuration Snippet (Safety Valve) for mapred-site.xml

Если я запустил задание map-reduce как отдельное задание пряжи (используя команду yarn jar в командной строке), задание успешно завершается.

Когда я запускаю задание как часть рабочего процесса:

  • На странице Yarn / All Applications я вижу, что: задание запуска ooz ie завершено успешно.
  • На странице Yarn / All Applications я вижу, что: задание map / reduce успешно завершено.
  • Однако ooz ie не дает отчета о задании: LimitExceededException: Too many counters: 121 max=120

Конфигурация для задания mapreduce и средства запуска ooz ie, как сообщает yarn, имеет параметр: 

<property>
     <name>mapreduce.job.counters.max</name>
     <value>8192</value>
     <final>true</final>
     <source>yarn-site.xml</source>
</property>

Ooz ie веб-интерфейс System-Info / OS-Env сообщает, что следующий HADOOP_CONF_DIR: / var / run / cloudera-scm-agent / process / 459-ooz ie -OOZIE_SERVER / yarn-conf /

В этой папке я вижу, что mapred-site. xml также имеет: 

    <!--'mapreduce.job.counters.max', originally set to '8192' (final), is overridden below by a safety valve-->
  <property>
    <name>mapreduce.job.counters.max</name>
    <value>8192</value>
    <final>true</final>
  </property>

Однако я не могу найти это свойство в пряжи- site. xml.

Я не уверен, что еще я могу сделать на этом этапе ...

1 Ответ

0 голосов
/ 12 августа 2020

Это проблема ie , которая уже решена. Однако он недоступен в текущей версии cloudera.

Я публикую это здесь, на случай, если у кого-то еще возникнет такая же проблема.

...