Я использую Hive 3.1.2 и Spark 2.4.5 (имел oop 3 в Ubuntu 18.04) Ошибка ниже при выполнении запросов
0: jdb c: hive2: // localhost: 10000> выберите количество (1) из retail_db.orders; Ошибка: ошибка при обработке оператора: FAILED: ошибка выполнения, код возврата 30041 от организации apache .had oop .hive.ql.exe c .spark.SparkTask. Не удалось создать клиент Spark для сеанса Spark 4aa97085-8a23-4ad8-a8c6-b701d41d7110 (состояние = 42000, код = 30041)
Журнал: 2020-06-19 12: 18: 28,704 ИНФОРМАЦИЯ [HiveServer2-Background- Пул: Thread-72] ql.Driver: режим параллелизма отключен, диспетчер блокировок не создается 2020-06-19 12: 18: 28,731 ОШИБКА [HiveServer2-Background-Pool: Thread-72] операция. Операция: Ошибка при выполнении запроса куста : org. apache .hive.service.cli.HiveSQLException: Ошибка при обработке оператора: FAILED: Ошибка выполнения, код возврата 30041 из организации. apache .had oop .hive.ql.exe c .spark .SparkTask. Не удалось создать клиент Spark для сеанса Spark 4aa97085-8a23-4ad8-a8c6-b701d41d7110 в организации apache .hive.service.cli.operation.Operation.toSQLException (Operation. java: 335) в организации apache .hive.service.cli.operation.SQLOperation.runQuery (SQLOperation. java: 226) в org. apache .hive.service.cli.operation.SQLOperation.access $ 700 (SQLOperation. java: 87) в org. apache .hive.service.cli.operation.SQLOperation $ BackgroundWork $ 1.run (SQLOperation. java: 316) в java .security.AccessController.doPrivileged (собственный метод) в javax.security.auth. Subject.doAs (Subject. java: 422) в организации apache .had oop .security.UserGroupInformation.doAs (UserGroupInformation. java: 1729) в организации apache .hive.service.cli .operation.SQLOperation $ BackgroundWork.run (SQLOperation. java: 329) в java .util.concurrent.Executors $ RunnableAdapter.call (Executors. java: 511) в java .util.concurrent.FutureTask .run (FutureTask. java: 266) в java .util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor. java: 1149) в java .util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor. java: 624) в java .lang.Thread.run (Thread. java: 748) Вызвано: org. apache .had oop .hive.ql.metadata.HiveException: не удалось создать клиент Spark для сеанса Spark 4aa97085-8a23-4ad8-a8c6-b701d41d7110 в организации. apache .had oop .hive.ql.exe c .spark. session.SparkSessionImpl.getHiveException (SparkSessionImpl. java: 221) в org. apache .had oop .hive.ql.exe c .spark.session.SparkSessionImpl.open (SparkSessionImpl. java: 92 ) в орг. apache .had oop .hive.ql.exe c .spark.session.SparkSessionManagerImpl.getSession (SparkSessionManagerImpl. java: 115) в орг. apache .had oop. hive.ql.exe c .spark.SparkUtilities.getSparkSession (SparkUtilities. java: 136) в организации apache .had oop .hive.ql.exe c .spark.SparkTask.execute ( SparkTask. java: 115) в организации apache .had oop .hive.ql.exe c .Task.executeTask (Task. java: 205) в организации apache .had oop .hive.ql.exe c .TaskRunner.runSequential (TaskRunner. java: 97) в организации apache .had oop .hive.ql.Driver.launchTask (Driver. java: 2664) в орг. apache .had oop .hive.ql.Driver.execute (Driver. java: 2335) в орг. . apache .had oop .hive.ql.Driver.runInternal (Driver. java: 2011) в org. apache .had oop .hive.ql.Driver.run (Driver. java: 1709) в организации apache .had oop .hive.ql.Driver.run (Driver. java: 1703) в организации apache .had oop .hive.ql.reexe c .ReExecDriver.run (ReExecDriver. java: 157) в org. apache .hive.service.cli.operation.SQLOperation.runQuery (SQLOperation. java: 224) ... еще 11 Причин: java .lang.NoClassDefFoundError: org / apache / spark / SparkConf at org. apache .had oop .hive.ql.exe c .spark.HiveSparkClientFactory.generateSparkConf (HiveSparkClientFactory. java: 263 *1095*: в орг. apache .had oop .hive.ql.exe c .spark.RemoteHiveSparkClient. (RemoteHiveSparkClient. java: 98) в орг. apache. имел oop .hive.ql.exe c .spark.HiveSparkClientFactory.createHiveSparkClient (HiveSparkClientFactory. java: 76) в организации apache .had oop .hive.ql.exe c .spark .session.SparkSessionImpl.open (SparkSessionImpl. java: 87)