Проблемы совместимости Hadoop + Hbase - PullRequest
2 голосов
/ 07 декабря 2011

Я много искал о следующей проблеме:

java.io.IOException: не удалось вызвать /10.0.1.37:50070 на локальном исключение: java.io.EOFException в org.apache.hadoop.ipc.Client.wrapException (Client.java:1139) на org.apache.hadoop.ipc.Client.call (Client.java:1107) в org.apache.hadoop.ipc.RPC $ Invoker.invoke (RPC.java:226) ....

Я нашел ссылки вроде: Что означает исключения EOF в соединениях hadoop namenode из hbase / filesystem? и других, но ни одна из них не работала для меня.

Теперь я начинаю чувствовать, что я не понимаю проблемы совместимости версий лучше. Больше всего меня смущает документация Hbase о совместимости Hadoop , которая звучит так: «Эта версия Hbase будет работать только на Hadoop 0.20». Что здесь означает «это»? Они означают 0,93-снимок (который находится вверху документации)?

Наконец, я использую Hadoop версии 0.20.203 и Hbase 0.90.4. Может кто-нибудь сказать мне, совместимы ли эти версии?

Заранее спасибо !!

Ответы [ 2 ]

1 голос
/ 07 декабря 2011

Я согласен, что в книге приводится странная ссылка, в которой говорится об «этой версии», а также о «0,93». Чтобы сделать вещи немного более понятными, книга в настоящее время выходит за рамки версий, но живет только в транке, который в настоящее время называется 0,93 (и при компиляции он добавляет -snapshot).

В любом случае, все версии HBase в настоящее время совместимы со всеми Hadoop 0.20. * Будь то 0.20.2 или 0.20.205.0., И последняя сейчас является единственной, которая поддерживает добавления. Версия, которую вы используете, 0.20.203, отсутствует, и вы можете потерять данные, если умирает сервер региона.

Возможно, ваше исключение EOF связано с тем, что вы неправильно поменяли файлы Jadoop в своей папке HBase lib /. Я ответил на аналогичный вопрос вчера в списке рассылки EOFException в HBase 0,94 (это было ошибочно 0,94, это должно было быть 0,90,4), что дает другие подсказки по отладке этого.

Наконец, у вашей трассировки стека есть странный номер порта. 50070 - это веб-интерфейс, а не порт RPC Namenode, который по умолчанию равен 9000. Возможно, вы указали HBase неверный номер порта.

0 голосов
/ 15 мая 2013

Я взял информацию по опубликованным ссылкам, и это сработало для меня.Только мне пришлось скопировать дополнительный guava * .jar, найденный в $ HADOOP_HOME / lib, в $ HBASE_HOME / lib (используя hadoop-0.20.2)

...