java.lang.NoClassDefFoundError: org / apache / hbase / thirdparty / com / google / common / cache / CacheLoader - PullRequest
Новая
       135

java.lang.NoClassDefFoundError: org / apache / hbase / thirdparty / com / google / common / cache / CacheLoader

0 голосов
/ 21 октября 2019

Я использую pyspark для чтения внешней таблицы куста из hbase, и таблица успешно создана, но когда я использую pyspark для чтения куста, произошла ошибка с этой ошибкой: 

spark.sql("use mydatabase")
user_rdd_list = spark.sql("select user_id, user_profile from ex_tbl limit 1")

Py4JJavaError: An error occurred while calling o124.showString. :java.lang.NoClassDefFoundError:org/apache/hbase/thirdparty/com/google/common/cache/CacheLoader

Все конфигурации: 

[('spark.master', 'local'), ('spark.app.id', 'local-1571631446655'), ('spark.executor.memory', '2g'), ('spark.executor.id', 'driver'), ('spark.executor.cores', '2'), ('spark.app.name', 'RealTimeRecommendation'), ('spark.driver.host', 'iZ2ze85uv4ktko46vm8juvZ'), ('spark.sql.warehouse.dir', '/user/hive/warehouse'), ('spark.sql.catalogImplementation', 'hive'), ('spark.rdd.compress', 'True'), ('spark.executor.instances', '2'), ('spark.serializer.objectStreamReset', '100'), ('spark.submit.deployMode', 'client'), ('spark.driver.port', '33103'), ('spark.ui.showConsoleProgress', 'true')]

Я добавил следующие jar-файлы в мои SPARK_HOME / jars: 

hbase-protocol-2.0.5.jar
hbase-client-2.0.5.jar
hbase-common-2.0.5.jar
hbase-server-2.0.5.jar
hive-hbase-handler-2.3.5.jar
metrics-core-3.1.5.jar
metrics-core-3.2.1.jar
guava-11.0.2.jar
guava-14.0.1.jar

моя версия spark 2.4.4, как мне это сделать? справиться с этим?

...