Когда я выполняю искровой процесс в oozie, у меня появляется следующая ошибка.База данных не найдена.
2018-09-26 15:27:23,576 INFO [main] org.apache.spark.deploy.yarn.Client:
client token: Token { kind: YARN_CLIENT_TOKEN, service: }
diagnostics: User class threw exception: org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'zdm_datos_externos' not found;
ApplicationMaster host: 10.74.234.6
ApplicationMaster RPC port: 0
queue: default
queue user: administrador
start time: 1537986410475
final status: FAILED
tracking URL: https://BR-PC-CentOS-02:26001/proxy/application_1537467570666_4127/
user: administrador
Это мой искровой конфиг
String warehouseLocation = new File("spark-warehouse").getAbsolutePath();
SparkSession spark = SparkSession
.builder()
.appName("Java Spark Hive Example")
.master("yarn")
.config("spark.sql.warehouse.dir", warehouseLocation)
.config("spark.driver.maxResultSize", "3g")
.config("spark.debug.maxToStringFields", "10000")
.config("spark.sql.crossJoin.enabled", "true")
.enableHiveSupport()
.getOrCreate();
spark.conf().set("spark.driver.maxResultSize", "3g");
metastore, текущие соединения: 1 2018-09-26 17: 31: 42,598 WARN [main] hive.metastore: set_ugi () не выполнен, вероятная причина: новый клиент общается со старым сервером,Продолжая без этого.org.apache.thrift.transport.TTransportException в org.apache.thrift.transport.TIOStreamTransport.read (TIOStreamTransport.java:132) в org.apache.thrift.transport.TTransport.readAll (TTransport.java:86) в org.apache.thrift.protocol.TBinaryProtocol.readStringBody (TBinaryProtocol.java:380) в org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin (TBinaryProtocol.java:230) в org.apache.thrift.TServiceClient.reavaBase TSj ()77) в org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore $ Client.recv_set_ugi (ThriftHiveMetastore.java:3748) в org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore $ Client.set_ugj: Client.set_ugj:3734) в org.apache.hadoop.hive.metastore.HiveMetaStoreClient.open (HiveMetaStoreClient.java:557) в org.apache.hadoop.hive.metastore.HiveMetaStoreClient. (HiveMetaStoreClient.had.hive.ql.metadata.SessionHiveMetaStoreClient. (SessionHiveMetaStoreClient.java:74) в sun.reflect.NativeConstructorAccessorImpl.newInstance0 (собственный метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.java:62) в sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.java:45Instru..jav.jpg).423) в org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance (MetaStoreUtils.java:1533) в org.apache.hadoop.hive.metastore.RetringMetaStoreClient. (RetringMetaStoreClient.joop.ache.h.gh. Ath. At.hive.metastore.RetringMetaStoreClient.getProxy (RetedingMetaStoreClient.java:132) в org.apache.hadoop.hive.metastore.RetringMetaStoreClient.getProxy (RetringMetaStoreClient.java:104) .hoop.ache.createMetaStoreClient (Hive.java:3157) в org.apache.hadoop.hive.ql.metadata.Hive.getMSC (Hive.java:3176) в org.apache.hadoop.hive.ql.metadata.Hive.getAllFunctions (Hive.Java: 3409) в org.apache.hadoop.hive.ql.metadata.Hive.reloadFunctions (Hive.java:178) в org.apache.hadoop.hive.qlМетаданныеjava: 43) в java.lang.reflect.Method.invoke (Method.java:498) в org.apache.spark.deploy.yarn.security.HiveCredentialProvider $$ anonfun $ receiveCredentials $ 1.apply $ mcV $ sp (HiveCredentialProvider.scala: 91) at org.apache.spark.deploy.yarn.security.HiveCredentialProvider $$ anonfun $ receiveCredentials $ 1.apply (HiveCredentialProvider.scala: 90) в org.apache.spark.deploy.yarn.security.HiveCredentialPunider $$$ receiveCredentials $ 1.apply (HiveCredentialProvider.scala: 90) по адресу org.apache.spark.deploy.yarn.security.HiveCredentialProvider $$ anon $ 1.run (HiveCredentialProvider.scala: 124) по адресу java.security.AccessControlile.NativeRid.) в javax.security.auth.Subject.doAs (Subject.java:422) в org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1778) в org.apache.spark.deploy.yarn.security.HiveCredentialProvider.doAsRealUser (HiveCredentialProvider.scala: 123)в org.apache.spark.deploy.yarn.security.HiveCredentialProvider.obtainCredentials (HiveCredentialProvider.scala: 90) в org.apache.spark.deploy.yarn.security.ConfigurableCredentialManager $$ anonfun $ receiveCredentialManager.apply.Credentials $82) в org.apache.spark.deploy.yarn.security.ConfigurableCredentialManager $$ anonfun $ receiveCredentials $ 2.apply (ConfigurableCredentialManager.scala: 80) в scala.collection.TraversableLike $$ anonfun $ flatMap $ 1.apply (Traversable:241) в scala.collection.TraversableLike $$ anonfun $ flatMap $ 1.apply (TraversableLike.scala: 241) в scala.collection.Iterator $ class.foreach (Iterator.scala: 893) в scala.collection.AbstractIterator.foreach (Iterator.scala: 1336) в scala.collection.MapLike $ DefaultValuesIterable.foreach (MapLike.scala: 206) в scala.collection.TraversableLike $ class.flatMap (TraversableLike.scala: 241) в scala.collection.AbstractTraversable.flatMap (Traversable.scala: 104) в org.apache.spark.deploy.yarn.security.ConfigurableCredentialManager.obtainCredentials (ConfigurableCredentialManager.scala: 80) в org.apache.spark.deploy.yarn.Client.prepareLocalResources (Client.scala: 430) в org.apache.spark.deploy.yarn.Client.createContainerLaunchscte: (915) в org.apache.spark.deploy.yarn.Client.submitApplication (Client.scala: 195) в org.apache.spark.deploy.yarn.Client.run (Client.scala: 1205) в org.apache.spark.deploy.yarn.Client $ .main (Client.scala: 1261) в org.apache.spark.deploy.yarn.Client.main (Client.scala) в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) на солнце.refle.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) в sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Meke.jp..deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain (SparkSubmit.scala: 761) в org.apache.spark.deploy.SparkSubmit $ .doRunMain $ 1 (SparkSubmit.scala: 190) в org.apache.spark.deploy.SparkSubmit $ .submit (SparkSubmit.scala: 215) в org.apache.spark.deploy.SparkSubmit $ .main (SparkSubmit.scala: 129) в org.apache.spark.deploy.SparkSubmit.main (SparkSubmit.scala) в org.apache.oozie.action.hadoop.SparkMain.runSpark (SparkMain.java:113) в org.apache.oozie.action.hadoop.SparkMain.run (SparkMain.java:104) в org.apache.oozie.action.hadoop.LauncherMain.запустить (LauncherMain.java:47) в org.apache.oozie.action.hadoop.SparkMain.main (SparkMain.java:38) в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) в sun.reflect.NativeMethodAccessorImplNativeMethodAccessorImpl.java:62) в sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в org.a.map (LauncherMapper.java:238) в org.apache.hadoop.mapred.MapRunner.run (MapRunner.java:54) в org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:459) в орг.apache.hadoop.mapred.MapTask.run (MapTask.java:343) в org.apache.hadoop.mapred.YarnChild $ 2.run (YarnChild.java:187) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:422)