версия hadoop - fairscheduler-saidump.log (нет такого файла или каталога) - PullRequest
Новая
       15

версия hadoop - fairscheduler-saidump.log (нет такого файла или каталога)

0 голосов
/ 21 февраля 2019

Я пытался установить hadoop-3.2.0 на Linux Mint.Все идет хорошо.Также java 11.0.2 устанавливается следующим образом: 

$ java -version
java version "11.0.2" 2018-10-16 LTS
Java(TM) SE Runtime Environment 18.9 (build 11.0.2+7-LTS)
Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.2+7-LTS, mixed mode)

, когда я использую эту команду hadoop version, я получаю эту ошибку: 

$ hadoop version
log4j:ERROR setFile(null,true) call failed.
java.io.FileNotFoundException: /usr/local/hadoop-3.2.0/logs/fairscheduler-statedump.log (No such file or directory)
    at java.base/java.io.FileOutputStream.open0(Native Method)
    at java.base/java.io.FileOutputStream.open(FileOutputStream.java:298)
    at java.base/java.io.FileOutputStream.<init>(FileOutputStream.java:237)
    at java.base/java.io.FileOutputStream.<init>(FileOutputStream.java:158)
    at org.apache.log4j.FileAppender.setFile(FileAppender.java:294)
    at org.apache.log4j.RollingFileAppender.setFile(RollingFileAppender.java:207)
    at org.apache.log4j.FileAppender.activateOptions(FileAppender.java:165)
    at org.apache.log4j.config.PropertySetter.activate(PropertySetter.java:307)
    at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:172)
    at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:104)
    at org.apache.log4j.PropertyConfigurator.parseAppender(PropertyConfigurator.java:842)
    at org.apache.log4j.PropertyConfigurator.parseCategory(PropertyConfigurator.java:768)
    at org.apache.log4j.PropertyConfigurator.parseCatsAndRenderers(PropertyConfigurator.java:672)
    at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:516)
    at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:580)
    at org.apache.log4j.helpers.OptionConverter.selectAndConfigure(OptionConverter.java:526)
    at org.apache.log4j.LogManager.<clinit>(LogManager.java:127)
    at org.slf4j.impl.Log4jLoggerFactory.<init>(Log4jLoggerFactory.java:66)
    at org.slf4j.impl.StaticLoggerBinder.<init>(StaticLoggerBinder.java:72)
    at org.slf4j.impl.StaticLoggerBinder.<clinit>(StaticLoggerBinder.java:45)
    at org.slf4j.LoggerFactory.bind(LoggerFactory.java:150)
    at org.slf4j.LoggerFactory.performInitialization(LoggerFactory.java:124)
    at org.slf4j.LoggerFactory.getILoggerFactory(LoggerFactory.java:412)
    at org.slf4j.LoggerFactory.getLogger(LoggerFactory.java:357)
    at org.slf4j.LoggerFactory.getLogger(LoggerFactory.java:383)
    at org.apache.hadoop.util.VersionInfo.<clinit>(VersionInfo.java:37)
Hadoop 3.2.0
Source code repository https://github.com/apache/hadoop.git -r e97acb3bd8f3befd27418996fa5d4b50bf2e17bf
Compiled by sunilg on 2019-01-08T06:08Z
Compiled with protoc 2.5.0
From source with checksum d3f0795ed0d9dc378e2c785d3668f39
This command was run using /usr/local/hadoop-3.2.0/share/hadoop/common/hadoop-common-3.2.0.jar

Кажется, что hadoop правильно установлен, но что-тонеправильно с log4j.Могу ли я попросить вас помочь мне решить эту ошибку?

Обновление: я должен упомянуть, что я пытался установить версию до того, как hadoop-3.2.0 означает hadoop-3.1.2, и все выглядит нормально.Поэтому я думаю, что это проблема, связанная с java v11.0.2 и hadoop-3.2.0.

Ответы [ 3 ]

0 голосов
/ 12 июня 2019

Я столкнулся с той же проблемой, потому что я установил hadoop пользователем root, а затем выполнил команду hadoop пользователем hadoop.Я просто решил проблему, изменив владельца и группу каталога hadoop. 

sudo chown -R hadoop:hadoop hadoop-3.2.0/

$ hadoop version

Hadoop 3.2.0
Source code repository https://github.com/apache/hadoop.git -r e97acb3bd8f3befd27418996fa5d4b50bf2e17bf

Compiled by sunilg on 2019-01-08T06:08Z

Compiled with protoc 2.5.0

From source with checksum d3f0795ed0d9dc378e2c785d3668f39
This command was run using /opt/hadoop-3.2.0/share/hadoop/common/hadoop-common-3.2.0.jar
0 голосов
/ 08 августа 2019

Я также столкнулся с этой проблемой, но я подумал, что это связано с разными версиями Java.Первоначально я установил JDK 11, но изменил JDK 8, поскольку Hadoop 3.x не соответствует никому после 8 (https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions).

. Однако после перехода на JDK 8 я все еще сталкиваюсь с этой проблемой. Предлагаемое решение предполагаетмы создали пользователя Hadoop, но у меня нет разрешения на создание другого пользователя на моем сервере (рабочем компьютере).

Должен ли я сменить владельца на root? У меня есть некоторые привилегии sudo.

0 голосов
/ 03 марта 2019

Я создаю каталог журналов в / usr / local / hadoop и предоставляю разрешение моей учетной записи hadoop. 

/usr/local/hadoop$ sudo mkdir logs
/usr/local/hadoop$ sudo chown -R hadoop logs
...