Hadoop-Streaming: Как вычисляет задача сокращения, уменьшает размер ввода?и как это исправить? - PullRequest
Новая
       9

Hadoop-Streaming: Как вычисляет задача сокращения, уменьшает размер ввода?и как это исправить?

0 голосов
/ 02 ноября 2011

Я вижу следующее в журнале отслеживания заданий: 

011-11-02 10:04:09,595 WARN org.apache.hadoop.mapred.JobInProgress: No room for reduce task. Node tracker_worker1:localhost/127.0.0.1:52295 has 62087933952 bytes free; but we expect reduce input to take 176511226508
  • Я хочу знать, как Hadoop рассчитал, что вход редуктора должен принять 176511226508 .
  • У меня есть два небольших рабочих узла по 70 гигабайт каждый и один редуктор, как я могу решить эту проблему?by increasing the number of reducers?

1 Ответ

1 голос
/ 02 ноября 2011

Проверьте ResourceEstimator # getEstimatedReduceInputSize () .Как всегда, комментарии вокруг функции getEstimatedReduceInputSize редки.Чтобы понять это, нужно приложить некоторые усилия.

...