Хюэ это работает, но не работает в CLI улья и pyspark ClassNotFoundException Class org.openx.data.jsonserde.JsonSerDe не найден) - PullRequest
0 голосов
/ 11 июня 2019

У меня есть таблица улья, которая хранится в формате JSON в формате текстового файла.при запросе от hue он возвращает данные.Но если выполнить один и тот же запрос в CLI куста или во фреймах данных pyspark, выдается следующая ошибка."

FAILED: MetaException RuntimeException (сообщение: java.lang.ClassNotFoundException Класс org.openx.data.jsonserde.JsonSerDe не найден)

"

Для spark я попытался добавить баночки со страницы "https://mvnrepository.com/artifact/org.apache.hive.hcatalog/hive-hcatalog-core", как показано ниже. Я пробовал большую часть версии jar с этой страницы.

pyspark2 --jars file: /// path/to/jar/file/hive-hcatalog-core-0.13.0

Вопрос 1: Почему он работает нормально по оттенку, но не в кустах cli и pyspark.

Вопрос 2: Как решить эту проблему

Вопрос 3: На странице mvn я вижу много версий jar. При загрузке jar, как мы должны решитьверсия баночки.

...