hadoop dfs -ls жалуется

Question

Может кто-нибудь дать мне знать, что здесь не так? Команда hadoop dfs вроде бы в порядке, но следующие опции не распознаются.

[hadoop-0.20]$bin/hadoop dfs -ls ~/wordcount/input/ ls: Cannot access /home/cloudera/wordcount/input/ : No such file or directory

Answer 1

hadoop fs -ls / some / path / here - перечислит расположение HDFS, а не ваше локальное местоположение linux попробуйте сначала эту команду

hadoop fs -ls /

затем пошагово исследуйте другие папки.

если вы хотите скопировать некоторые файлы из локального каталога в каталог пользователей в папке HDFS, просто используйте это:

hadoop fs -mkdir /users
hadoop fs -put /some/local/file /users

, чтобы узнать больше о командах hdfs: http://hadoop.apache.org/common/docs/r0.20.0/hdfs_shell.html

Answer 2

FS относится к общей файловой системе, которая может указывать на любые файловые системы, такие как локальная, HDFS, s3 и т. Д. Но dfs очень специфичен для HDFS.Поэтому, когда мы используем FS, он может выполнять операции с / из локальной или распределенной файловой системы hadoop по назначению.Но указание операции DFS относится к HDFS.