Я установил спарк в Mac.Согласно документации здесь , «пользователи, у которых нет существующего развертывания Hive, все еще могут включить поддержку Hive».У меня есть hive-site.xml в моей директории spark / conf.Я вижу, что derby.log и metastore_db были созданы в моей рабочей директории.
Мой код pyspark в блокноте Jupyter выглядит следующим образом:
spark = SparkSession.builder.appName("aov").config("spark.sql.hive.metastore.jars", "maven").enableHiveSupport().getOrCreate()
sqlContext.sql ("show tables")
Я получаю следующее исключение:
Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "HikariCP" plugin to create a ConnectionPool gave an error : The connection pool plugin of type "HikariCP" was not found in the CLASSPATH!
at org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:259)
at org.datanucleus.store.rdbms.ConnectionFactoryImpl.initialiseDataSources(ConnectionFactoryImpl.java:131)
at org.datanucleus.store.rdbms.ConnectionFactoryImpl.<init>(ConnectionFactoryImpl.java:85)
... 112 more
Причина: org.datanucleus.exceptions.NucleusUserException: Плагин пула соединений типа "HikariCP" не найден в CLASSPATH!в org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources (ConnectionFactoryImpl.java:234) ... еще 114
Кто-нибудь может мне помочь?