Было oop форматирование наменода windows - java .lang.UnsupportedOperationException - PullRequest
Новая
       112

Было oop форматирование наменода windows - java .lang.UnsupportedOperationException

2 голосов
/ 15 марта 2020

Я учусь в школе на базе данных, и мой профессор заставляет нас работать с oop v3.2.1. В следующем руководстве по YouTube для установки на windows я застрял в части форматирования namenode. вот что появляется в cmd: 

2020-03-15 15:38:05,819 INFO util.GSet: Computing capacity for map NameNodeRetryCache
2020-03-15 15:38:05,819 INFO util.GSet: VM type       = 64-bit
2020-03-15 15:38:05,820 INFO util.GSet: 0.029999999329447746% max memory 889 MB = 273.1 KB
2020-03-15 15:38:05,820 INFO util.GSet: capacity      = 2^15 = 32768 entries
2020-03-15 15:38:05,883 INFO namenode.FSImage: Allocated new BlockPoolId: BP-381120843-10.0.0.230-1584301085876
2020-03-15 15:38:05,884 ERROR namenode.NameNode: Failed to start namenode.
java.lang.UnsupportedOperationException
        at java.nio.file.Files.setPosixFilePermissions(Files.java:2044)
        at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.clearDirectory(Storage.java:452)
        at org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:591)
        at org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:613)
        at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:188)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:1206)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1649)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1759)
2020-03-15 15:38:05,887 INFO util.ExitUtil: Exiting with status 1: java.lang.UnsupportedOperationException
2020-03-15 15:38:05,889 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at DrStrange/10.0.0.230
************************************************************/

и вот мои свойства:

core-site. xml: 

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

mapred-site. xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
      <value>yarn</value>
  </property>
</configuration>

hdfs-site. xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>C:\hadoop-3.2.1\data\namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>C:\hadoop-3.2.1\data\datanode</value>
  </property>
</configuration>

yarn-site. xml: 

<configuration>
<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

и я подписался на это Учебное пособие: Как установить oop на Windows примерно до половины, когда я понял, что он слишком стар, а затем переключился на этот: Как установить oop 3.2.0 в Windows10

Кроме того, я понятия не имею, связано ли это с моей текущей проблемой, поэтому я скажу это. Когда я перехожу к следующему шагу и набираю start-all, менеджер ресурсов и менеджер узлов оба выдают ошибку. Подумал, я бы все это в один вопрос.

Ответы [ 2 ]

1 голос
/ 18 апреля 2020

Следующая ошибка Ошибка в oop 3.2.1 .

Эта проблема будет решена в следующем выпуске. Сейчас вы можете временно исправить это, выполнив следующие действия:

  1. Загрузите файл hadoop-hdfs-3.2.1.jar по ссылке .
  2. Переименуйте имя файла hadoop-hdfs-3.2.1.jar в hadoop-hdfs-3.2.1.bak в папке %HADOOP_HOME%\share\hadoop\hdfs
  3. Скопировать загруженный hadoop-hdfs-3.2.1.jar в папку %HADOOP_HOME%\share\hadoop\hdfs

Ссылки

1 голос
/ 15 марта 2020

Хорошо известно, что oop 3.2.1 не работает на windows 10 должным образом. Я установил 3.2.0 и сейчас делаю успехи.

...