Нет данных, работающих в hadoop 2.9.2 - PullRequest
Новая
       18

Нет данных, работающих в hadoop 2.9.2

0 голосов
/ 26 апреля 2019

Я очень новичок в hadoop, поэтому я начал следовать hadoop 2.9.2, чтобы начать . Когда я запускаю команду 

    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep input output 'dfs[a-z.]+'

возвращает успех, но когда я смотрю на файл output/part-r-00000.txt, который должен показывать результат, он пуст, хотя каталог input содержит .xml файлы etc/hadoop. должен.

Я снова и снова запускал весь процесс, читая все журналы, чтобы понять, где может быть ошибка. Во всяком случае, когда я запускаю bin/hdfs namenode -format, он показывает мне эту ошибку: 

    ERROR common.Util: Syntax error in URI file://path to temp_directory/dfs/name. Please check hdfs configuration.
    java.net.URISyntaxException: Illegal character in authority at index 7: file://path to temp_directory/dfs/name
at java.base/java.net.URI$Parser.fail(URI.java:2915)
at java.base/java.net.URI$Parser.parseAuthority(URI.java:3249)
at java.base/java.net.URI$Parser.parseHierarchical(URI.java:3160)
at java.base/java.net.URI$Parser.parse(URI.java:3116)
at java.base/java.net.URI.<init>(URI.java:600)
at org.apache.hadoop.hdfs.server.common.Util.stringAsURI(Util.java:49)
at org.apache.hadoop.hdfs.server.common.Util.stringCollectionAsURIs(Util.java:99)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getStorageDirs(FSNamesystem.java:1466)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getNamespaceEditsDirs(FSNamesystem.java:1511)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getNamespaceEditsDirs(FSNamesystem.java:1480)
at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:1137)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1614)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1741)

и это также происходит, когда я запускаю bin/hdfs dfs -put etc/hadoop input: 

    WARN hdfs.DataStreamer: DataStreamer Exception
    org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/federico/input/hadoop/capacity-scheduler.xml._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1).  There are 0 datanode(s) running and no node(s) are excluded in this operation.

Кажется, довольно ясно, что нет работающих датодов. Итак, если предположить эту ситуацию, как я могу инициализировать датодан, чтобы все заработало, и как я узнаю, работает ли моя датодода так, как ожидается?

РЕДАКТИРОВАТЬ: я пытался следовать некоторым рекомендациям для разных пользователей, сталкивающихся с подобной проблемой, и появилась ошибка: 

    WARN org.apache.hadoop.hdfs.server.datanode.checker.StorageLocationChecker: Exception checking StorageLocation [DISK]file:/dfs/data
    java.io.FileNotFoundException: File file:/dfs/data does not exist

и, следовательно, создание данододы не удается. Как мне с этим справиться?

1 Ответ

0 голосов
/ 26 апреля 2019

Пожалуйста, обновите hdfs-site.xml следующим образом, где значение dfs.datanode.data.dir должно быть установлено в соответствии с вашими ожиданиями. Вы можете найти этот файл в / etc / hadoop в каталоге Hadoop. 

<configuration>
<property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
   <property>
      <name>dfs.permissions</name>
      <value>false</value>
   </property>

   <property>
      <name>dfs.datanode.data.dir</name>
      <value>/Users/myname/data/hdfs/data</value>
   </property>
</configuration>

Используйте аналогичные пути для linux как / home / myname / data / hdfs / data

...