В EMR Pig Script, интегрированный с HBase, дает сбой при попытке загрузить данные - PullRequest
Новая
       23

В EMR Pig Script, интегрированный с HBase, дает сбой при попытке загрузить данные

0 голосов
/ 11 мая 2018

Я выполняю сценарий pig, который взаимодействует с HBase, и получаю следующую ошибку:

Причина: java.lang.RuntimeException: не удалось создать экземпляр org.apache.pig.backend.hadoop.hbase.HBaseStorage 'с аргументами в org.apache.pig.impl.PigContext.instantiateFuncFromSpec (PigContext.java:770) в org.apache.pig.parser.LogicalPlanBuiladOp: 885) ... еще 38. Вызвано: java.lang.reflect.InvocationTargetException at sun.reflect.NativeConstructorAccessorImpl.newInstance0 (собственный метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessrefl).DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.java:45) по адресу java.lang.reflect.Constructor.newInstance (Constructor.java:423) по адресу org.apache.pig.impl.PigContext.instantiateFuncFromtej.jp ... 3938) Pj.больше Причины: java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.Scan.setCacheБлокирует (Z) V в org.apache.pig.backend.hadoop.hbase.HBaseStorage.initScan (HBaseStorage.java:429) в org.apache.pig.backend.hadoop.hbase.HBaseStorage. (HBaseStorage.java:370)... еще 44

Версия для свиней: Pig 0.17.0

Версия для HBase: HBase 1.3.1

1 Ответ

0 голосов
/ 21 мая 2018

В библиотеке был JAR версии Pig 0.16.0.Поэтому иногда, когда я запускаю Pig Script в Oozie, он выбирает эту версию и соединяется с версией HBase 1.x, которая, как я полагаю, была причиной вышеуказанного сбоя.

Итак, я удалил этот старый JARфайл, а теперь скрипт, который интегрируется с HBase и отлично работает с версией Pig 0.17.

...