Hadoop 'положить' команду: нет такого файла или каталога

Question

Я пытался добавить текстовый файл в файловую систему HDFS, но Hadoop отказывает в этом с сообщением об ошибке «Нет такого файла или каталога».

$ bin/hdfs dfs -put /home/NDelt/Datasets/SampleText.txt /home/NDelt/HadoopDir/hdata
put: `/home/NDelt/HadoopDir/hdata': No such file or directory: `hdfs://localhost:9000/home/NDelt/HadoopDir/hdata'

Но путь SampleText.txt и hdata каталог правильный.В чем проблема?

Это мой файл hdfs-site.xml:

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/NDelt/HadoopDir/hdata/dfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/NDelt/HadoopDir/hdata/dfs/datanode</value>
  </property>
</configuration>

Answer 1

Как упоминалось в cricket_007, в HDFS нет каталога / home.

Как проверить hdfs put

$ bin / hdfs dfs -put / home / NDelt / Datasets /SampleText.txt / tmp

и проверьте, добавлен ли файл в HDFS с помощью

$ bin / hdfs dfs -get /tmp/SampleText.txt

Если содержимое файла невелико, вы также можете просмотреть содержимое

$ bin / hdfs dfs -cat /tmp/SampleText.txt

Answer 2

В HDFS нет каталога /home

Ваша учетная запись пользователя в HDFS будет иметь значение /user

И вам нужно явно создать родительский путь HDFS, гдевы сначала помещаете файлы с hdfs mkdir -p

Также нет необходимости точно сопоставлять вашу локальную файловую систему с HDFS