HDFS «Нет такого файла или каталога» ошибка при попытке скопировать CSV из одного каталога в другой

Question

Я использую Hortonworks Sandbox (не уверен, что это имеет значение) и пытался скопировать CSV-файл из каталога / user / root / в каталог / user / nyc_taxi /, но он дал мне 'Нет такого файла или ошибка каталога. Я очень уверен, что CSV, называемый 'yellow_tripdata_2016_01.csv', находится в каталоге / user / root /.

Я использую Windows 10, и ниже приведены команды, которые я написал в терминале:

>sudo su - hdfs
>hdfs dfs -mkdir /user/root
>hdfs dfs -mkdir /user/nyc_taxi
>hdfs dfs -chown root:hdfs /user/root
>hdfs dfs -chown root:hdfs /user/nyc_taxi
>exit
>hadoop fs -put yellow_tripdata_2016_01.csv /user/nyc_taxi/

Первые 6 команд не имели проблем. Но когда я запустил последний, терминал вернул ошибку «Нет такого файла или каталога». Я также попытался указать фактический путь к CSV, выполнив эту команду:

hadoop fs -put /user/root/yellow_tripdata_2016_01.csv /user/nyc_taxi/ 

Но то же сообщение об ошибке все еще обнаружилось.

Как видно из скриншота ниже, файл csv явно находится в каталоге / user / root /.

Любая обратная связь / рекомендация приветствуется!

Answer 1

Команда

-put ищет файл yellow_tripdata_2016_01.csv в локальной файловой системе, а не в hdfs.

Но ваш файл находится в HDFS, по этой причине вы получаете эту ошибку.

См. эту ссылку для более подробной информации о Hadoop -put/-cp/-mv командах.

Если вы хотите скопировать / переместить файл HDFS в другой каталог HDFS, используйте следующие команды

Скопируйте файл в другой каталог hdfs:

hadoop fs -cp /user/root/yellow_tripdata_2016_01.csv /user/nyc_taxi/

Переместить файл в другой каталог:

hadoop fs -mv /user/root/yellow_tripdata_2016_01.csv /user/nyc_taxi/