Улей не может выполнить запрос или не может запустить улей в режиме Cli - PullRequest
Новая
       86

Улей не может выполнить запрос или не может запустить улей в режиме Cli

0 голосов
/ 22 мая 2019

У нас есть проблемы в нашей среде HDP (HDP 2.6.5)

  1. Мы можем получить доступ к кусту из ambari, но когда мы запрашиваем, например, показывать таблицы, он возвращает

Сообщение: 

 E090 HDFS020 Could not write file /user/admin/hive/jobs/hive-job-2060-2019-05-22_08-47/query.hql [HdfsApiException]

Трассировка: 

 org.apache.ambari.view.utils.hdfs.HdfsApiException: HDFS020 Could not write file /user/admin/hive/jobs/hive-job-2061-2019-05-22_08-58/query.hql 
org.apache.ambari.view.utils.hdfs.HdfsApiException: HDFS020 Could not write file /user/admin/hive/jobs/hive-job-2061-2019-05-22_08-58/query.hql     at org.apache.ambari.view.utils.hdfs.HdfsUtil.putStringToFile(HdfsUtil.java:57)     at org.apache.ambari.view.hive20.resources.jobs.viewJobs.JobControllerImpl.setupQueryFile(JobControllerImpl.java:267)     at org....          (more...)
  1. При запуске улья через cli он показывает

log4j: WARN Нет такого свойства [maxFileSize] в org.apache.log4j.DailyRollingFileAppender.

Ведение журнала инициализировано с использованием конфигурации в файле: /etc/hive/2.6.5.0-292/0/hive-log4j.properties

..... Застрял надолго в этом разделе, больше никаких разделов не появляется

  1. Затем, когда мы пытаемся улей отладки, он возвращает

    log4j: ОШИБКА Не удалось найти значение для ключа log4j.appender.DEBUG log4j: ОШИБКА Не удалось создать экземпляр приложения с именем «DEBUG». log4j: WARN Нет такого свойства [maxFileSize] в org.apache.log4j.DailyRollingFileAppender.

    Ведение журнала инициализировано с использованием конфигурации в файле: /etc/hive/2.6.5.0-292/0/hive-log4j.properties 19/05/22 09:04:08 [main]: INFO SessionState: Ведение журнала инициализируется с использованием конфигурации в файле: /etc/hive/2.6.5.0-292/0/hive-log4j.properties 19/05/22 09:04:08 [main]: INFO hive.metastore: Попытка подключиться к metastore с помощью URI: //mghdop02.dcdms: 9083 19/05/22 09:04:08 [main]: INFO hive.metastore: подключено к metastore. 19/05/22 09:04:10 [main]: INFO session.SessionState: создан локальный каталог: / tmp / 7340c5fc-15bf-479c-8931-76b45c89900e_resources 19/05/22 09:04:10 [main]: INFO session.SessionState: создан каталог HDFS: / tmp / hive / root / 7340c5fc-15bf-479c-8931-76b45c89900e 19/05/22 09:04:10 [main]: INFO session.SessionState: создан локальный каталог: / tmp / root / 7340c5fc-15bf-479c-8931-76b45c89900e 19/05/22 09:04:10 [main]: сеанс INFO.SessionState: создан каталог HDFS: /tmp/hive/root/7340c5fc-15bf-479c-8931-76b45c89900e/_tmp_space.db 19/05/22 09:04:10 [main]: INFO tez.TezSessionState: открытие сеанса с идентификатором 7340c5fc-15bf-479c-8931-76b45c89900e для идентификатора трассировки основного журнала потока - идентификатор запроса - 19/05/22 09:04:10 [main]: INFO tez.TezSessionState: пользователь сеанса с идентификатором 7340c5fc-15bf-479c-8931-76b45c89900e является пользователем root 19/05/22 09:04:10 [main]: INFO tez.DagUtils: локализация ресурса, потому что он не существует: file: / usr / hdp / current / hive-webhcat / share / hcatalog / hive-hcatalog-core. jar to dest: hdfs: //mghdop01.dcdms: 8020 / tmp / hive / root / _tez_session_dir / 7340c5fc-15bf-479c-8931-76b45c89900e / hive-hcatalog-core.jar 19/05/22 09:04:11 [main]: INFO tez.DagUtils: время изменения ресурса: 1558490651312 19/05/22 09:04:11 [main]: INFO tez.DagUtils: Jar dir равен нулю / каталог не существует. Выбор HIVE_INSTALL_DIR - /user/root/.hiveJars 19/05/22 09:04:11 [main]: INFO tez.DagUtils: время изменения ресурса: 1547439722103 19/05/22 09:04:11 [main]: INFO sqlstd.SQLStdHiveAccessController: создан SQLStdHiveAccessController для контекста сеанса: HiveAuthzSessionContext [sessionString = 7340c5fc-15bf-479c-8931-76b45c89900e, clientType = ClientType] 19/05/22 09:04:11 [main]: INFO hive.metastore: конфигурация Mestastore hive.metastore.filter.hook изменена с org.apache.hadoop.hive.metastore.DefaultMetaStoreFilterHookImpl на org.apache.hadoop.hive. ql.security.authorization.plugin.AuthorizationMetaStoreFilterHook 19/05/22 09:04:11 [main]: INFO hive.metastore: Попытка подключиться к metastore с помощью URI: //mghdop02.dcdms: 9083 19/05/22 09:04:11 [main]: INFO hive.metastore: подключен к metastore. 19/05/22 09:04:12 [main]: клиент INFO.TezClient: версия клиента Tez: [component = tez-api, версия = 0.7.0.2.6.5.0-292, редакция = 2fcfb8aa6a462569e160756dfb73514f99cbf248, URL-адрес SCM = scm: git: https://git -wip-us.apache.org / repos / asf / tez.git , buildTime = 2018-05-11T07: 53: 39Z] 19/05/22 09:04:12 [main]: INFO tez.TezSessionState: открытие нового сеанса Tez (id: 7340c5fc-15bf-479c-8931-76b45c89900e, рабочий каталог: hdfs: //mghdop01.dcdms: 8020 / tmp / улей / корень / _tez_session_dir / 7340c5fc-15bf-479c-8931-76b45c89900e)19/05/22 09:04:12 [main]: INFO client.RMProxy: подключение к ResourceManager по адресу mghdop01.dcdms / 10.0.37.157: 8050 19/05/22 09:04:12 [main]: INFO client.AHSProxy: Соединение с сервером истории приложений по адресу mghdop01.dcdms / 10.0.37.157: 10200 19/05/22 09:04:12 [main]: INFO client.TezClient: Режим сеанса.Начальная сессия19/05/22 09:04:12 [main]: INFO client.TezClientUtils: использование значения tez.lib.uris из конфигурации: /hdp/apps/2.6.5.0-292/tez/tez.tar.gz 19/05/ 22 09:04:12 [main]: клиент INFO.TezClient: каталог системного этапа Tez hdfs: //mghdop01.dcdms: 8020 / tmp / hive / root / _tez_session_dir / 7340c5fc-15bf-479c-8931-76b45c89900e / .tez/ application_1558444524634_0004 не существует и создается 19/05/22 09:04:12 [main]: INFO impl.YarnClientImpl: Подано приложение application_1558444524634_0004 19/05/22 09:04:12 [main]: INFO client.TezClient:URL для отслеживания сеанса Tez: http://mghdop01.dcdms:8088/proxy/application_1558444524634_0004/ 19/05/22 09:05:13 [main]: INFO client.TezClient: приложение не удалось.Диагностика: Приложение application_1558444524634_0004 не удалось 2 раза из-за ошибки запуска appattempt_1558444524634_0004_000002.Получено исключение: org.apache.hadoop.security.token.SecretManager $ InvalidToken: данный NMToken для приложения: appattempt_1558444524634_0004_000002 недопустим для текущего менеджера узла.NativeConstructorAccessorImpl.newInstance0 (собственный метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.java:62) в sun.reflect.DelegatingConstructorAccessorImpl.new.jmp.jlj.mpl.Java: 423) в org.apache.hadoop.yarn.ipc.RPCUtil.instantiateException (RPCUtil.java:53) в org.apache.hadoop.yarn.ipc.RPCUtil.unwrapAndThrowException (RPCUtil.java:104) в org.apache.hadoop.yarn.api.nvoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod (RetryInvocationHandache) jandler.java)..hadoop.io.retry.RetryInvocationHandler.invoke (RetryInvocationHandler.java:202) в org.apache.hadoop.io.retry.RetryInvocationHandler.invoke (RetryInvocationHandler.java:184) на сайте com.sun.proxy.Неизвестный источник) на org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.launch (AMLauncher.java:125) на org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.run (AMLauncher.java: 267) в java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1142) в java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:617) в java.lang.Thread.java: 745) Причина: org.apache.hadoop.ipc.RemoteException (org.apache.hadoop.security.token.SecretManager $ InvalidToken): данный NMToken для приложения: appattempt_1558444524634_0004_000002 недопустимо для текущего менеджера узла. Ожидается: dnhdop02.dcdms: 45454 найдено: dnhdop03.dcdms: 45454 в org.apache.hadoop.ipc.Client.getRpcResponse (Client.java:1554) в org.apache.h.Client.call (Client.java:1498) в org.apache.hadoop.ipc.Client.call (Client.java:1398) в org.apache.hadoop.ipc.ProtobufRpcEngine $ Invoker.invoke (ProtobufRpcEngine.java:233).) в com.sun.proxy. $ Proxy90.startContainers (неизвестный источник) в org.apache.hadoop.yarn.api.impl.pb.client.ContainerManagementProtocolPBClientImpl.startContainers (ContainerManagementProtocolPBClientImpl.java:96) ... еще 12.Сбой приложения.Исключение в потоке "main" java.lang.RuntimeException: org.apache.tez.dag.api.SessionNotRunning: TezSession уже завершил работу.Приложение application_1558444524634_0004 не удалось 2 раза из-за ошибки запуска appattempt_1558444524634_0004_000002.Получено исключение: org.apache.hadoop.security.token.SecretManager $ InvalidToken: данный NMToken для приложения: appattempt_1558444524634_0004_000002 недопустим для текущего менеджера узла.NativeConstructorAccessorImpl.newInstance0 (собственный метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.java:62) в sun.reflect.DelegatingConstructorAccessorImpl.new.jmp.jlj.mpl.Java: 423) в org.apache.hadoop.yarn.ipc.RPCUtil.instantiateException (RPCUtil.java:53) в org.apache.hadoop.yarn.ipc.RPCUtil.unwrapAndThrowException (RPCUtil.java:104) в org.apache.hadoop.yarn.api.nvoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod (RetryInvocationHandache) jandler.java)..hadoop.io.retry.RetryInvocationHandler.invoke (RetryInvocationHandler.java:202) в org.apache.hadoop.io.retry.RetryInvocationHandler.invoke (RetryInvocationHandler.java:184) на сайте com.sun.proxy.Неизвестный источник) на org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.launch (AMLauncher.java:125) на org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.run (AMLauncher.java: 267) в java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1142) в java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:617) в java.lang.Thread.java: 745) Причина: org.apache.hadoop.ipc.RemoteException (org.apache.hadoop.security.token.SecretManager $ InvalidToken): данный NMToken для приложения: appattempt_1558444524634_0004_000002 недопустимо для текущего менеджера узла. Ожидается: dnhdop02.dcdms: 45454 найдено: dnhdop03.dcdms: 45454 в org.apache.hadoop.ipc.Client.getRpcResponse (Client.java:1554) в org.apache.h.Client.call (Client.java:1498) в org.apache.hadoop.ipc.Client.call (Client.java:1398) в org.apache.hadoop.ipc.ProtobufRpcEngine $ Invoker.invoke (ProtobufRpcEngine.java:233).) в com.sun.proxy. $ Proxy90.startContainers (неизвестный источник) в org.apache.hadoop.yarn.api.impl.pb.client.ContainerManagementProtocolPBClientImpl.startContainers (ContainerManagementProtocolPBClientImpl.java:96) ... еще 12.Сбой приложения.в org.apache.hadoop.hive.ql.session.SessionState.start (SessionState.java:582) в org.apache.hadoop.hive.cli.CliDriver.run (CliDriver.java:681) в org.apache.hadoop.hive.cli.CliDriver.(DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в org.apache.hadoop.util.RunJar.run (RunJar.java:233) в org.apache.hadoop.util.RunJar.main (RunJar.java:148)Вызывается: org.apache.tez.dag.api.SessionNotRunning: TezSession уже завершил работу.Приложение application_1558444524634_0004 не удалось 2 раза из-за ошибки запуска appattempt_1558444524634_0004_000002.Получено исключение: org.apache.hadoop.security.token.SecretManager $ InvalidToken: данный NMToken для приложения: appattempt_1558444524634_0004_000002 недопустим для текущего менеджера узла.NativeConstructorAccessorImpl.newInstance0 (собственный метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.java:62) в sun.reflect.DelegatingConstructorAccessorImpl.new.jmp.jlj.mpl.Java: 423) в org.apache.hadoop.yarn.ipc.RPCUtil.instantiateException (RPCUtil.java:53) в org.apache.hadoop.yarn.ipc.RPCUtil.unwrapAndThrowException (RPCUtil.java:104) в org.apache.hadoop.yarn.api.nvoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod (RetryInvocationHandache) jandler.java)..hadoop.io.retry.RetryInvocationHandler.invoke (RetryInvocationHandler.java:202) в org.apache.hadoop.io.retry.RetryInvocationHandler.invoke (RetryInvocationHandler.java:184) на сайте com.sun.proxy.Неизвестный источник) на org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.launch (AMLauncher.java:125) на org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.run (AMLauncher.java: 267) в java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1142) в java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:617) в java.lang.Thread.java: 745) Причина: org.apache.hadoop.ipc.RemoteException (org.apache.hadoop.security.token.SecretManager $ InvalidToken): данный NMToken для приложения: appattempt_1558444524634_0004_000002 недопустимо для текущего менеджера узла. Ожидается: dnhdop02.dcdms: 45454 найдено: dnhdop03.dcdms: 45454 в org.apache.hadoop.ipc.Client.getRpcResponse (Client.java:1554) в org.apache.h.Client.call (Client.java:1498) в org.apache.hadoop.ipc.Client.call (Client.java:1398) в org.apache.hadoop.ipc.ProtobufRpcEngine $ Invoker.invoke (ProtobufRpcEngine.java:233).) в com.sun.proxy. $ Proxy90.startContainers (неизвестный источник) в org.apache.hadoop.yarn.api.impl.pb.client.ContainerManagementProtocolPBClientImpl.startContainers (ContainerManagementProtocolPBClientImpl.java:96) ... еще 12.Сбой приложения.в org.apache.tez.client.TezClient.waitTillReady (TezClient.java:699) в org.apache.hadoop.hive.ql.exec.tez.TezSessionState.open (TezSessionState.java:218) в org.apache.hadoop.hive.ql.exec.tez.TezSessionState.open (TezSessionState.java:116) в org.apache.hadoop.hive.ql.session.SessionState.start (SessionState.java:579) ... еще 8

Что случилось с нашим HDP и как решить эту проблему?Мы перезапустили все сервисы в ambari, но, к сожалению, нет никакого эффекта

...