Сбой примера Hadoop pipe (wordcount) (с hadoop 0.21.0) - PullRequest
Новая
       3

Сбой примера Hadoop pipe (wordcount) (с hadoop 0.21.0)

0 голосов
/ 27 июля 2011

Я опробовал упрощенный пример подсчета слов для конвейерных линий .К сожалению, он выдает ошибки java.lang.NullPointerException и /usr/lib64/libstdc++.so.6: no version information available, когда я пытаюсь запустить его как: 

$ bin/hadoop pipes -Dhadoop.pipes.java.recordreader=true \
                   -Dhadoop.pipes.java.recordwriter=true \ 
                   -input <inputHDFSPath> \               
                   -output <outputHDFSPath> \
                   -program <cppBinaryHDFSPath>

Сведения об ошибке здесь .

Любыепредложения о том, как это исправить, будет принята с благодарностью.Спасибо.

Edit1: добавлена ​​команда, используемая для запуска.

Edit2: Оказывается, что двоичный файл C ++ не был статически связан.После исправления, которое я теперь вижу эта ошибка .

Edit3: добавлена ​​используемая версия hadoop.Я также добавил соответствующие части журналов отслеживания вакансий здесь .Кроме того, stderr для каждой неудачной попытки имеет это: 

$more /usr/local/dp/hadoop/userlogs/job_201107211831_0013/\
attempt_201107211831_0013_m_‌​000000_0/stderr 
Hadoop Pipes Exception: Aborted by driver

Ответы [ 2 ]

0 голосов
/ 25 августа 2011

Так что я сделал еще один выстрел и начал с нуля. На этот раз у меня был лучший успех. Вот код и файлы конфигурации , которые я использовал.

Также вот команда, которую я использовал для запуска задания: 

hadoop pipes -conf path/to/dp_hpt_conf.xml 
             -input /path/to/input 
             -output /path/to/output

Входные файлы в /path/to/input были: 

$hadoop fs -ls /path/to/input
Found 3 items
-rw-r--r--   3 dp dpgrp         25 2011-07-26 23:24 /path/to/input/bar
-rw-r--r--   3 dp dpgrp         87 2011-07-26 23:24 /path/to/input/baz
-rw-r--r--   3 dp dpgrp         44 2011-07-26 23:24 /path/to/input/foo
$hadoop fs -get /path/to/input/foo .
$cat foo 
The quick brown fox jumps over the lazy dog

И вывод был: 

$ hadoop fs -get /path/to/output/part-00000 .
$ cat part-00000 
another 3
be      2
brown   2
dog     2
end     2
for     2
fox     2
input   2
is      3
jumps   2
lazy    2
of      2
over    2
program 2
quick   2
sentence        3
should  2
test    2
that    2
the     5
this    4
yet     2

(Извиняюсь за шаткие пути. Мои настоящие пути были другими - пути здесь - просто мои ленивые попытки их анонимизации.)

0 голосов
/ 27 июля 2011

, поскольку он ищет /usr/lib64/libstdc++.so.6, кажется, что ваш mapper скомпилирован с 64-битным компилятором, вы уверены, что jvm также 64-битный?

У меня такое ощущение, что именно эта 64-битная штука порождает сломанные трубы. проверьте кластер и машину разработчика.

...