Добавить путь с дополнительными банками для клиента Hive - PullRequest
0 голосов
/ 22 мая 2018

У меня был HDP 2.6.1.0-129

У меня есть внешний Jar example.jar для сериализованного файла данных.

Я добавил новый параметр в раздел Custom hive-site

name = hive.aux.jars.path
value hdfs:///user/libs/

Сохранил новую конфигурацию и перезапустил компоненты hadoop и через некоторое время перезапустил весь кластер hadoop.

После того, как в клиенте Hive я попытался запустить, выберите

select * from example_serealized_table

и улей вернул ошибку

FAILED: RuntimeException MetaException(message:org.apache.hadoop.hive.serde2.SerDeException java.lang.ClassNotFoundException: Class com.my.bigtable.example.model.gen.TSerializedRecord not found)

Как решить эту проблему?

ps

Если попытался добавить в текущий сеанс,

add jar hdfs:///user/libs/example-spark-SerializedRecord.jar;

Сделалпопробуйте поместить * .jar в локальную папку.Проблема такая же.

1 Ответ

0 голосов
/ 05 июля 2018

Я не говорил, что библиотека напишет, мой коллега действительно написал библиотеку.Оказалось, что он переопределяет переменные, которые влияют на уровень регистрации поля.После исключения переопределенных переменных в библиотеке проблема воспроизведения все же остановилась.

...