Установка Spark-2.2.1 в качестве механизма исполнения по умолчанию для apache-hive-2.1.1 - PullRequest
Новая
       7

Установка Spark-2.2.1 в качестве механизма исполнения по умолчанию для apache-hive-2.1.1

0 голосов
/ 27 августа 2018

Hadoop 2.7.3, Spark 2.2.1 и Hive 2.1.1.

Журнал Hive показывает, что java.lang.NoClassDefFoundError: org / apache / spark / JavaSparkListener, когда я пытаюсь загрузить данные в любую из таблиц. 

Caused by: java.lang.ClassNotFoundException: org.apache.spark.JavaSparkListener
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 19 more

В чем может быть проблема? Это было исправление ошибки искры для подобной проблемы, которая говорит, что у искры 2.2.0 должно быть решение. У меня вопрос, когда я использую искру 2.2.1, тогда почему даже я получаю эту проблему. Запрашиваемая банка должна быть уже внутри банки с искровым сердечником в classpath.

...