Hadoop-Streaming: редуктор в состоянии ожидания, не запускается? - PullRequest
Новая
       7

Hadoop-Streaming: редуктор в состоянии ожидания, не запускается?

0 голосов
/ 31 октября 2011

У меня есть карта уменьшения задания , которая работала нормально, пока я не начал видеть некоторые неудачные задачи карты, такие как 

attempt_201110302152_0003_m_000010_0    task_201110302152_0003_m_000010 worker1 FAILED  
Task attempt_201110302152_0003_m_000010_0 failed to report status for 602 seconds. Killing!
-------
Task attempt_201110302152_0003_m_000010_0 failed to report status for 607 seconds. Killing!
Last 4KB
Last 8KB
All
attempt_201110302152_0003_m_000010_1    task_201110302152_0003_m_000010 master  FAILED  
java.lang.RuntimeException: java.io.IOException: Spill failed
    at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:325)
    at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:545)
    at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:132)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
    at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:261)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059)
    at org.apache.hadoop.mapred.Child.main(Child.java:255)
Caused by: java.io.IOException: Spill failed
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.collect(MapTask.java:1029)
    at org.apache.hadoop.mapred.MapTask$OldOutputCollector.collect(MapTask.java:592)
    at org.apache.hadoop.streaming.PipeMapRed$MROutputThread.run(PipeMapRed.java:381)
Caused by: org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid local directory for output/spill11.out
    at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:381)
    at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:146)
    at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:127)
    at org.apache.hadoop.mapred.MapOutputFile.getSpillFileForWrite(MapOutputFile.java:121)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.sortAndSpill(MapTask.java:1392)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.access$1800(MapTask.java:853)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer$SpillThread.run(MapTask.java:1344)
Last 4KB
Last 8KB
All

, и теперь редуктор не начинает выполняться В то время как ранее редуктор использовался для начала копирования данных, даже когда выполняются задачи карты, все, что я вижу, это 

11/10/31 03:35:12 INFO streaming.StreamJob:  map 95%  reduce 0%
11/10/31 03:44:01 INFO streaming.StreamJob:  map 96%  reduce 0%
11/10/31 03:51:56 INFO streaming.StreamJob:  map 97%  reduce 0%
11/10/31 03:55:41 INFO streaming.StreamJob:  map 98%  reduce 0%
11/10/31 04:04:18 INFO streaming.StreamJob:  map 99%  reduce 0%
11/10/31 04:20:32 INFO streaming.StreamJob:  map 100%  reduce 0%

Я новичок в hadoop и mapreduce и действительно не знаючто может вызывать сбой того же кода, который успешно выполнялся ранее

Пожалуйста, помогите

Спасибо

Ответы [ 2 ]

1 голос
/ 31 октября 2011

Вы должны взглянуть на mapred.task.timeout. Если у вас очень большой объем данных и мало машин для их обработки, ваша задача может быть в тайм-ауте. Вы можете установить это значение на 0, что отключает этот тайм-аут.

В качестве альтернативы, если вы можете вызвать context.progress или какую-либо эквивалентную функцию, чтобы сказать, что что-то происходит, так что задание не истекло.

0 голосов
/ 17 декабря 2011

У меня была такая же проблема, и я сделал две вещи, чтобы решить ее:

Во-первых, чтобы сжать вывод вашего преобразователя, используйте mapred.output.compress=true. Когда ваш маппер работает, вывод выводится на диск (записывается на диск), и иногда этот вывод необходимо отправлять редуктору на другой машине. Сжатие вывода уменьшит сетевой трафик, а также уменьшит объем диска, необходимый для машины, на которой работает маппер.

Вторым, что я сделал, было увеличение ulimits для hdfs и mapred пользователей. Я добавил эти строки в /etc/security/limits.conf

mapred      soft    nproc       16384
mapred      soft    nofile      16384
hdfs        soft    nproc       16384
hdfs        soft    nofile      16384
hbase       soft    nproc       16384
hbase       soft    nofile      16384

В этом посте есть более подробное объяснение: http://www.cloudera.com/blog/2009/03/configuration-parameters-what-can-you-just-ignore/

...