Проблема с импортом данных zohmg в hbase

Question

Я использовал zohmg и успешно создал mapper, таблицу в HBase и импортировал мои данные для тестирования (используя переключатель --local).
Но у меня проблема с вставкой моих данных после сопоставления в HBase, это ошибка, которую я получаю:

Exception in thread "main" java.lang.RuntimeException: class org.apache.hadoop.hbase.mapreduce.TableOutputFormat not org.apache.hadoop.mapred.OutputFormat
    at org.apache.hadoop.conf.Configuration.setClass(Configuration.java:1034)
    at org.apache.hadoop.mapred.JobConf.setOutputFormat(JobConf.java:471)
    at org.apache.hadoop.streaming.StreamJob.setJobConf(StreamJob.java:818)
    at org.apache.hadoop.streaming.StreamJob.run(StreamJob.java:122)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
    at org.apache.hadoop.streaming.HadoopStreaming.main(HadoopStreaming.java:50)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:186)

У вас есть какие-нибудь подсказки, которые могут помочь мне это исправить? (Или, может быть, это проблема с Дамбо?)

Answer 1

Hadoop 0.20 представил новый пакет org.apache.hadoop.mapreduce и объявил устаревшим старый org.apache.hadoop.mapred. HBase 0.20 последовало его примеру с поддержкой уменьшения карты. Похоже, этот код ожидает OutputFormat для старого API, но получает HBase TableOutputFormat для нового API.

Похоже, что последний коммит на github может помочь в этом, он говорит "добавлен патч для возврата к старому API". (Также похоже, что какое-то время не было никакой активности.) http://github.com/zohmg/zohmg/commits/master