Загрузить файл csv из hdfs

Question

Я пытаюсь загрузить файл CSV в hdfs распределенной файловой системы с:

hadoop fs -put

But I get the following error:
put: ´.´: No such file or directory: ´hdfs://localhost:54310/user/hduser´

Answer 1

Сначала создайте целевой каталог HDFS. Похоже, что каталог / user / hduser отсутствует в HDFS.

hdfs dfs -mkdir -p /user/hduser

Затем скопируйте файл в HDFS.

hdfs dfs -put LOCAL_FILE_PATH DESTINATION_HDFS_PATH

Пример: hdfs dfs -put ./ /tmp

Примечание. Замените LOCAL_FILE_PATH локальным файлом, а DESTINATION_HDFS_PATH - целевым путем HDFS.

Answer 2

Похоже, вы пытаетесь загрузить файл без указания явного местоположения. Если вы не укажете пункт назначения, он загрузит его в домашний каталог hdfs текущего пользователя, который не существует для текущего пользователя.

попробуйте указать расположение папки hdfs.

hadoop fs -put <local file> <hdfs directory>