Вызывается: java.lang.ClassNotFoundException: org.apache.hadoop.hive.hbase.HiveHBaseTableInputFormat - PullRequest
Новая
       32

Вызывается: java.lang.ClassNotFoundException: org.apache.hadoop.hive.hbase.HiveHBaseTableInputFormat

0 голосов
/ 04 мая 2019

Я использую sparklauncher для запуска приложения spark.В приложении spark я вставляю данные в таблицу кустов и использую некоторую связанную таблицу hbase-hive в запросе соединения.Я добавил hive-hbase-handler-1.1.0-cdh5.13.0.jar в модуль запуска искр, но я все еще получаю причину: java.lang.ClassNotFoundException: org.apache.hadoop.hive.hbase.HiveHBaseTableInputFormat, которую я добавилошибка в банке спарклаунчера: 

def launch(hdfsFilePath:String):Unit={
    println("Inside ApplicationLauncher")
    val command = new SparkLauncher()
      .setAppResource("/home/cloudera/Desktop/Avi/LiveProjects/MusicDataAnalysis/target/scala-2.11/musicdataanalysis_2.11-0.1.jar")
      .setMainClass("ParseInputFile")
      .setVerbose(false)
      .addAppArgs(hdfsFilePath)
      .setMaster("local")
      .addJar("/home/cloudera/Desktop/Avi/jars/hive-hbase-handler-1.1.0-cdh5.13.0.jar")
      .addJar("/home/cloudera/Desktop/Avi/jars/spark-xml_2.11-0.5.0.jar")

    println("Done with Spark Launcher")
    val appHandle = command.startApplication()
    appHandle.addListener(new SparkAppHandle.Listener{
      def infoChanged(sparkAppHandle : SparkAppHandle) : Unit = {
      //  println(sparkAppHandle.getState + "  Custom Print")
      }

      def stateChanged(sparkAppHandle : SparkAppHandle) : Unit = {
        println(sparkAppHandle.getState)
        if ("FINISHED".equals(sparkAppHandle.getState.toString)){
          sparkAppHandle.stop
        }
      }
    })

1 Ответ

0 голосов
/ 06 мая 2019

Моя проблема была решена, когда я добавил hbase-0.92.1.jar вместе с hive-hbase-handler-1.1.0-cdh5.13.0.jar. Пожалуйста, найдите ниже рабочий код: 

def launch(hdfsFilePath:String):Unit={
println("Inside ApplicationLauncher")
val command = new SparkLauncher()
  .setAppResource("/home/cloudera/Desktop/Avi/LiveProjects/MusicDataAnalysis/target/scala-2.11/musicdataanalysis_2.11-0.1.jar")
  .setMainClass("ParseInputFile")
  .setVerbose(false)
  .addAppArgs(hdfsFilePath)
  .setMaster("local")
  .addJar("file:///home/cloudera/Desktop/Avi/jars/hbase-0.92.1.jar")
  .addJar("file:///home/cloudera/Desktop/Avi/jars/hive-hbase-handler-3.1.1.jar")
  .addJar("file:///home/cloudera/Desktop/Avi/jars/spark-xml_2.11-0.5.0.jar")
println("Done with Spark Launcher")
val appHandle = command.startApplication()
appHandle.addListener(new SparkAppHandle.Listener{
  def infoChanged(sparkAppHandle : SparkAppHandle) : Unit = {
  //  println(sparkAppHandle.getState + "  Custom Print")
  }

  def stateChanged(sparkAppHandle : SparkAppHandle) : Unit = {
    println(sparkAppHandle.getState)
    if ("FINISHED".equals(sparkAppHandle.getState.toString)){
      sparkAppHandle.stop
    }
  }
})

}

...