СБОЙ: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcept

Question

я использую среду CDH 5.13.0 всякий раз, когда я пытаюсь выполнить куст CMD, он показывает ошибку

СБОЙ: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Невозможно создать экземпляр org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

я проверил hive-metastore.log, он показывает

2018-05-02 06: 15: 53,225 ОШИБКА [main]: Datastore.Schema (Log4JLogger.java:error(125)) - Не удалось инициализировать базу данных. Невозможно открыть тестовое соединение с указанной базой данных. JDBC url = jdbc: derby:; databaseName = metastore_db; create = true, имя пользователя = APP. Завершение пула соединений (установите для lazyInit значение true, если вы планируете запускать базу данных после приложения). Исходное исключение: ------ java.sql.SQLException: не удалось создать базу данных metastore_db, подробности см. в следующем исключении. в org.apache.derby.impl.jdbc.SQLExceptionFactory.getSQLException (неизвестный источник) в org.apache.derby.impl.jdbc.SQLExceptionFactory.getSQLException (неизвестный источник) в org.apache.derby.impl.jdbc.Util.seeNextException (неизвестный источник) в org.apache.derby.impl.jdbc.EmbedConnection.createDatabase (неизвестный источник) в org.apache.derby.impl.jdbc.EmbedConnection. (Неизвестный источник) в org.apache.derby.jdbc.InternalDriver.getNewEmbedConnection (неизвестный источник) на org.apache.derby.jdbc.InternalDriver.connect (неизвестный источник) на org.apache.derby.jdbc.InternalDriver.connect (неизвестный источник) at org.apache.derby.jdbc.AutoloadedDriver.connect (неизвестный источник) в java.sql.DriverManager.getConnection (DriverManager.java:571) в java.sql.DriverManager.getConnection (DriverManager.java:187) в com.jolbox.bonecp.BoneCP.obtainRawInternalConnection (BoneCP.java:361) на com.jolbox.bonecp.BoneCP. (BoneCP.java:416) в com.jolbox.bonecp.BoneCPDataSource.getConnection (BoneCPDataSource.java:120) в org.datanucleus.store.rdbms.ConnectionFactoryImpl $ ManagedConnectionImpl.getConnection (ConnectionFactoryImpl.java:501) в org.datanucleus.store.rdbms.RDBMSStoreManager. (RDBMSStoreManager.java:298) at sun.reflect.NativeConstructorAccessorImpl.newInstance0 (собственный метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.java:57) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.java:45) в java.lang.reflect.Constructor.newInstance (Constructor.java:526) в org.datanucleus.plugin.NonManagedPluginRegistry.createExecutableExtension (NonManagedPluginRegistry.java:631) в org.datanucleus.plugin.PluginManager.createExecutableExtension (PluginManager.java:301) в org.datanucleus.NucleusContext.createStoreManagerForProperties (NucleusContext.java:1187) в org.datanucleus.NucleusContext.initialise (NucleusContext.java:356) в org.datanucleus.api.jdo.JDOPersistenceManagerFactory.freezeConfiguration (JDOPersistenceManagerFactory.java:775) в org.datanucleus.api.jdo.JDOPersistenceManagerFactory.createPersistenceManagerFactory (JDOPersistenceManagerFactory.java:333) в org.datanucleus.api.jdo.JDOPersistenceManagerFactory.getPersistenceManagerFactory (JDOPersistenceManagerFactory.java:202) at sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) at sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:606) в javax.jdo.JDOHelper $ 16.run (JDOHelper.java:1965) at java.security.AccessController.doPrivileged (собственный метод) в javax.jdo.JDOHelper.invoke (JDOHelper.java:1960) в javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation (JDOHelper.java:1166) в javax.jdo.JDOHelper.getPersistenceManagerFactory (JDOHelper.java:808) в javax.jdo.JDOHelper.getPersistenceManagerFactory (JDOHelper.java:701)в org.apache.hadoop.hive.metastore.ObjectStore.getPMF (ObjectStore.java:418) в org.apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager (ObjectStore.java:447) в org.apache.hadoop.hive.metastore.ObjectStore.initialize (ObjectStore.java:342) в org.apache.hadoop.hive.metastore.ObjectStore.setConf (ObjectStore.java:298) в org.apache.hadoop.util.ReflectionUtils.setConf (ReflectionUtils.java:73) в org.apache.hadoop.util.ReflectionUtils.newInstance (ReflectionUtils.java:133) в org.apache.hadoop.hive.metastore.RawStoreProxy. (RawStoreProxy.java:60) в org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy (RawStoreProxy.java:69) в org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.newRawStore (HiveMetaStore.java:682) в org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.getMS (HiveMetaStore.java:660) в org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.createDefaultDB (HiveMetaStore.java:709) в org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.init (HiveMetaStore.java:508) в org.apache.hadoop.hive.metastore.RetriedHMSHandler. (RetryHMSHandler.java:78) в org.apache.hadoop.hive.metastore.RetringHMSHandler.getProxy (RetiringHMSHandler.java:84) в org.apache.hadoop.hive.metastore.HiveMetaStore.newRetiringHMSHandler (HiveMetaStore.java:6474) в org.apache.hadoop.hive.metastore.HiveMetaStore.newRetiringHMSHandler (HiveMetaStore.java:6469) в org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore (HiveMetaStore.java:6719) в org.apache.hadoop.hive.metastore.HiveMetaStore.main (HiveMetaStore.java:6646) at sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) at sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:606) в org.apache.hadoop.util.RunJar.run (RunJar.java:221) в org.apache.hadoop.util.RunJar.main (RunJar.java:136) Причина: ОШИБКА XJ041: Не удалось создать базу данных metastore_db, подробности см. В следующем исключении. в org.apache.derby.iapi.error.StandardException.newException (неизвестный источник) в org.apache.derby.impl.jdbc.SQLExceptionFactory.wrapArgsForTransportAcrossDRDA (неизвестный источник) ... еще 61 Причина: ОШИБКА XBM0H: Директория / metastore_db не может быть создана. в org.apache.derby.iapi.error.StandardException.newException (неизвестный источник) в org.apache.derby.iapi.error.StandardException.newException (неизвестный источник) в org.apache.derby.impl.services.monitor.StorageFactoryService $ 10.run (неизвестный источник) at java.security.AccessController.doPrivileged (собственный метод) в org.apache.derby.impl.services.monitor.StorageFactoryService.createServiceRoot (Неизвестный источник) в org.apache.derby.impl.services.monitor.BaseMonitor.bootService (неизвестный источник) в org.apache.derby.impl.services.monitor.BaseMonitor.createPersistentService (неизвестный источник) в org.apache.derby.impl.services.monitor.FileMonitor.createPersistentService (неизвестный источник) at org.apache.derby.iapi.services.monitor.Monitor.createPersistentService (неизвестный источник)

... еще 58

org.datanucleus.exceptions.NucleusDataStoreException: Невозможно открыть тестовое соединение с указанной базой данных. JDBC url = jdbc: derby:; databaseName = metastore_db; create = true, имя пользователя = APP. Завершение пула соединений (установите для lazyInit значение true, если вы планируете запускать базу данных после приложения). Исходное исключение: ------ java.sql.SQLException: не удалось создать базу данных metastore_db, подробности см. в следующем исключении. в org.apache.derby.impl.jdbc.SQLExceptionFactory.getSQLException (неизвестный источник) в org.apache.derby.impl.jdbc.SQLExceptionFactory.getSQLException (неизвестный источник) в org.apache.derby.impl.jdbc.Util.seeNextException (неизвестный источник)в org.apache.derby.impl.jdbc.EmbedConnection.createDatabase (неизвестный источник) в org.apache.derby.impl.jdbc.EmbedConnection. (Неизвестный источник) в org.apache.derby.jdbc.InternalDriver.getNewEmbedConnection (неизвестный источник) на org.apache.derby.jdbc.InternalDriver.connect (неизвестный источник) на org.apache.derby.jdbc.InternalDriver.connect (неизвестный источник) at org.apache.derby.jdbc.AutoloadedDriver.connect (неизвестный источник) в java.sql.DriverManager.getConnection (DriverManager.java:571) в java.sql.DriverManager.getConnection (DriverManager.java:187) в com.jolbox.bonecp.BoneCP.obtainRawInternalConnection (BoneCP.java:361) на com.jolbox.bonecp.BoneCP. (BoneCP.java:416) в com.jolbox.bonecp.BoneCPDataSource.getConnection (BoneCPDataSource.java:120) в org.datanucleus.store.rdbms.ConnectionFactoryImpl $ ManagedConnectionImpl.getConnection (ConnectionFactoryImpl.java:501) в org.datanucleus.store.rdbms.RDBMSStoreManager. (RDBMSStoreManager.java:298) at sun.reflect.NativeConstructorAccessorImpl.newInstance0 (собственный метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.java:57) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.java:45) в java.lang.reflect.Constructor.newInstance (Constructor.java:526) в org.datanucleus.plugin.NonManagedPluginRegistry.createExecutableExtension (NonManagedPluginRegistry.java:631) в org.datanucleus.plugin.PluginManager.createExecutableExtension (PluginManager.java:301) в org.datanucleus.NucleusContext.createStoreManagerForProperties (NucleusContext.java:1187) в org.datanucleus.NucleusContext.initialise (NucleusContext.java:356) в org.datanucleus.api.jdo.JDOPersistenceManagerFactory.freezeConfiguration (JDOPersistenceManagerFactory.java:775) в org.datanucleus.api.jdo.JDOPersistenceManagerFactory.createPersistenceManagerFactory (JDOPersistenceManagerFactory.java:333) в org.datanucleus.api.jdo. at sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) at sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:606) в javax.jdo.JDOHelper $ 16.run (JDOHelper.java:1965) at java.security.AccessController.doPrivileged (собственный метод) в javax.jdo.JDOHelper.invoke (JDOHelper.java:1960) в javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation (JDOHelper.java:1166) в javax.jdo.JDOHelper.getPersistenceManagerFactory (JDOHelper.java:808) в javax.jdo.JDOHelper.getPersistenceManagerFactory (JDOHelper.java:701) в org.apache.hadoop.hive.metastore.ObjectStore.getPMF (ObjectStore.java:418) в org.apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager (ObjectStore.java:447) в org.apache.hadoop.hive.metastore.ObjectStore.initialize (ObjectStore.java:342) в org.apache.hadoop.hive.metastore.ObjectStore.setConf (ObjectStore.java:298) в org.apache.hadoop.util.ReflectionUtils.setConf (ReflectionUtils.java:73) в org.apache.hadoop.util.ReflectionUtils.newInstance (ReflectionUtils.java:133) в org.apache.hadoop.hive.metastore.RawStoreProxy. (RawStoreProxy.java:60) в org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy (RawStoreProxy.java:69) в org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.newRawStore (HiveMetaStore.java:682) в org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.getMS (HiveMetaStore.java:660) в org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.createDefaultDB (HiveMetaStore.java:709) в org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.init (HiveMetaStore.java:508) в org.apache.hadoop.hive.metastore.RetriedHMSHandler. (RetryHMSHandler.java:78)в org.apache.hadoop.hive.metastore.RetringHMSHandler.getProxy (RetiringHMSHandler.java:84) в org.apache.hadoop.hive.metastore.HiveMetaStore.newRetiringHMSHandler (HiveMetaStore.java:6474) в org.apache.hadoop.hive.metastore.HiveMetaStore.newRetiringHMSHandler (HiveMetaStore.java:6469) в org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore (HiveMetaStore.java:6719) в org.apache.hadoop.hive.metastore.HiveMetaStore.main (HiveMetaStore.java:6646) at sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) at sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:606) в org.apache.hadoop.util.RunJar.run (RunJar.java:221) в org.apache.hadoop.util.RunJar.main (RunJar.java:136) Причина: ОШИБКА XJ041: Не удалось создать базу данных metastore_db, подробности см. В следующем исключении. в org.apache.derby.iapi.error.StandardException.newException (неизвестный источник) в org.apache.derby.impl.jdbc.SQLExceptionFactory.wrapArgsForTransportAcrossDRDA (неизвестный источник) ... еще 61 Причина: ОШИБКА XBM0H: Директория / metastore_db не может быть создана. в org.apache.derby.iapi.error.StandardException.newException (неизвестный источник) в org.apache.derby.iapi.error.StandardException.newException (неизвестный источник) в org.apache.derby.impl.services.monitor.StorageFactoryService $ 10.run (неизвестный источник) at java.security.AccessController.doPrivileged (собственный метод) в org.apache.derby.impl.services.monitor.StorageFactoryService.createServiceRoot (Неизвестный источник) в org.apache.derby.impl.services.monitor.BaseMonitor.bootService (неизвестный источник) в org.apache.derby.impl.services.monitor.BaseMonitor.createPersistentService (неизвестный источник) в org.apache.derby.impl.services.monitor.FileMonitor.createPersistentService (неизвестный источник) at org.apache.derby.iapi.services.monitor.Monitor.createPersistentService (Неизвестный источник)

... еще 58

Я не знаю, что делать. состояние сервера Hive-Metastore не работает и не отключается

Answer 1

Причина Описание причины проблемы. Ошибка «Недостаточно памяти» (OOM) в данном случае является результатом того, что на сервере недостаточно памяти для запуска службы HiveMetaStore.

RCA

Служба HiveMetaStore настроена в hive-site.xml на стороне клиента, но служба не запущена.

Например:

/etc/gphd/hive-0.11.0_gphd_2_1_0_0/conf/hive-site.xml

<property>
<name>hive.metastore.uris
<value>thrift://hdw1.viadea.com:9083
</property>

Однако на hdw1:

-bash-4.1$ service hive-metastore status
hive-metastore dead but pid file exists

После просмотра hive-metastore.log вы можете увидеть, что причина, по которой служба не запустилась, была вызвана ошибкой нехватки памяти (OOM), как показано в примере ниже:

14/04/07 16:43:13 WARN conf.HiveConf: УСТАРЕЛО: свойство конфигурации hive.metastore.local больше не имеет никакого эффекта. Убедитесь, что вы указали правильное значение для hive.metastore.uris, если вы подключаетесь к удаленному метастару. ВНИМАНИЕ: org.apache.hadoop.metrics.jvm.EventCounter устарела. Пожалуйста, используйте org.apache.hadoop.log.metrics.EventCounter во всех файлах log4j.properties. Не удалось инициализировать библиотеку - невозможно выделить таблицу дескрипторов файлов - недостаточно памяти

Процедура Чтобы решить эту проблему, выполните следующие действия: 1. Понять, почему служба HiveMetaStore не запускается. В этом случае увеличьте физическую память сервера. 2. Затем запустите службу HiveMetaStore вручную, используя пользователя root.

service hive-metastore start