Запрос hbase с искрой HADOOP_HOME и hadoop.home.dir не установлены - PullRequest
Новая
       28

Запрос hbase с искрой HADOOP_HOME и hadoop.home.dir не установлены

0 голосов
/ 18 октября 2018

Я пытаюсь запросить таблицу Hbase с помощью spark, но я получаю эту ошибку:

14: 08: 35.134 [main] DEBUG org.apache.hadoop.util.Shell - Не удалосьобнаружение допустимого домашнего каталога hadoop

мой код: 

    object HbaseQuery {
  def main(args: Array[String]) {
    val sparkConf = new SparkConf().setAppName("HBaseRead").setMaster("local[2]")
    val sc = new SparkContext(sparkConf)
    val conf = HBaseConfiguration.create()
    val tableName = "emp"

    System.setProperty("hadoop.home.dir", "/usr/local/hadoop-2.7.6")
    conf.set("hbase.zookeeper.quorum", "localhost")
    conf.set("hbase.master", "localhost:60000")

    conf.set(TableInputFormat.INPUT_TABLE, tableName)

    val hBaseRDD = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat], classOf[ImmutableBytesWritable], classOf[Result])
    println("Number of Records found : " + hBaseRDD.count())
    hBaseRDD.foreach(println)

  }
}

я тоже пытался создать spark-env.sh, добавив export HADOOP_HOME = "мой путь", но все еще та же проблема Спасибо заранее

...