Невозможно создать каталог на hdfs на Mac OS

Question

При попытке создать каталог в hdfs появляется следующее сообщение об ошибке.
Я установил все необходимые программы ssh, Java и установил все переменные окружения.
Не совсем уверен, где я иду не так.

Может кто-нибудь поделиться своими мыслями по этому поводу? Спасибо.

Используемая команда:

bin/hdfs dfs -mkdir /Users/ravitejavutukuri/input

Ошибка:

18/06/30 22:56:11 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
mkdir: `/Users/ravitejavutukuri/input': No such file or directory

В настоящее время я установил Hadoop 2.9.1 и пытаюсь поэкспериментировать с псевдо-распределенным режимом.

Answer 1

HDFS не имеет каталога / Users (это не эквивалентная структура Mac)

Вы имели в виду /user?

Правильный способ сделать каталог пользователя для себя будет

hdfs dfs -mkdir -p /user/$whoami/
hdfs dfs -chmod -R 750 /user/$whoami/

Затем для создания каталога ввода без указания абсолютного пути автоматически используется папка пользователя HDFS.

hdfs dfs -mkdir input/

Answer 2

Попробуйте эту команду. Это создаст все каталоги в пути.

bin/hdfs dfs -mkdir -p /Users/ravitejavutukuri/input