Объект hbase не является членом пакета org.apache.spark.sql.execution.datasources - PullRequest
0 голосов
/ 08 июня 2018

Я пытаюсь использовать Spark-Hbase-Connector для получения данных из HBase

import org.apache.spark.sql.execution.datasources.hbase._

ошибка

object hbase is not a member of package org.apache.spark.sql.execution.datasources

в моем локальном .m2 хранилище уже существует .jar из org.apache.hbase.hbase-spark ... Мне действительно интересно, где находится этот пакет (Объект, который я хочу использовать в этом пакете, HBaseTableCatalog)

часть pom.xml is

<dependency>
  <groupId>org.apache.hbase</groupId>
  <artifactId>hbase-spark</artifactId>
  <version>3.0.0-SNAPSHOT</version>
</dependency>

1 Ответ

0 голосов
/ 08 июня 2018

Это четко упомянуто на сайте shc :

Users can use the Spark-on-HBase connector as a standard Spark package. To include the package in your Spark application use: Note: com.hortonworks:shc-core:1.1.1-2.1-s_2.11 has not been uploaded to spark-packages.org, but will be there soon. spark-shell, pyspark, or spark-submit $SPARK_HOME/bin/spark-shell --packages com.hortonworks:shc-core:1.1.1-2.1-s_2.11 Users can include the package as the dependency in your SBT file as well. The format is the spark-package-name:version in build.sbt file. libraryDependencies += “com.hortonworks/shc-core:1.1.1-2.1-s_2.11”

Так что у вас будетчтобы загрузить jar и включить его вручную в свой проект для целей тестирования, если вы используете maven.

Или вы можете попробовать maven uploaded shc

...