Apache spark 2.3 поверх Apache HBase 2.0 - PullRequest
Новая
       7

Apache spark 2.3 поверх Apache HBase 2.0

0 голосов
/ 17 сентября 2018

Необходимо добавить искровой разъем через HBase, где

Версия Spark: 2.3.1
Версия HBase: 2.0.0

Исключение получения сильфона: 

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.deploy.SparkHadoopUtil.getCurrentUserCredentials()Lorg/apache/hadoop/security/Credentials;
    at org.apache.hadoop.hbase.spark.HBaseContext.<init>(HBaseContext.scala:68)
    at org.apache.hadoop.hbase.spark.JavaHBaseContext.<init>(JavaHBaseContext.scala:46)
    at com.cloud.databaseroot.hbase.spark.JavaHBaseBulkPutExample.main(JavaHBaseBulkPutExample.java:60)

Snap из pom.xml: 

    <dependency>
        <groupId>org.apache.hbase</groupId>
        <artifactId>hbase-spark</artifactId>
        <version>2.0.0-alpha4</version>
        <exclusions>
            <exclusion>
                <artifactId>jackson-module-scala_2.10</artifactId>
                <groupId>com.fasterxml.jackson.module</groupId>
            </exclusion>
        </exclusions>
    </dependency>

    <dependency> 
        <groupId>io.netty</groupId>
        <artifactId>netty-all</artifactId>
        <version>4.1.17.Final</version>
    </dependency>

    <dependency>
        <groupId>com.fasterxml.jackson.module</groupId>
        <artifactId>jackson-module-scala_2.11</artifactId>
        <version>2.8.8</version>
    </dependency>

Дайте мне знать, где я ошибаюсь.

1 Ответ

0 голосов
/ 19 сентября 2018

Кажется, что версия 2.0.0-alpha4 hbase-spark не совместима с Spark 2.3.1. Метод SparkHadoopUtil.getCurrentUserCredentials доступен в версии Spark <= 2.2. Либо понизьте версию Spark, либо создайте hbase-spark с помощью Spark 2.3.1, что может потребовать внесения в него некоторых изменений кода. </p>

...