Я установил Hadoop в OS X, и все шло хорошо.Мой недавний опыт и я прилагаю усилия, чтобы узнать больше о разработке приложений с помощью Hadoop.
Вчера, когда мне нужно найти список каталогов и / или файлов в Hadoop, я могу просто набрать
$ hadoop fs -ls
, и он покажет мне все содержимое изкластер.
Сегодня он показывает весь локальный контент в файловой системе.Я должен предоставить точный адрес hdfs, чтобы получить список содержимого,
$ hadoop fs -ls hdfs://localhost:8020/user/myName
Мой core-site.xml файл такой же, как и раньше,
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License. See accompanying LICENSE file.
-->
<!-- Put site-specific property overrides in this file. -->
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
</property>
</configuration>
Я остановилкластера и снова переформатировал распределенную файловую систему с помощью приведенной ниже команды, прежде чем запускать демоны hadoop, чтобы мы могли поместить наши источники данных в файловую систему hdfs при выполнении задания уменьшения карты
$ hdfs namenode -format
Я получаюв отчете администратора сообщается, что файл FileSystem: /// не является файловой системой HDFS,
$ hadoop dfsadmin -report
WARNING: Use of this script to execute dfsadmin is deprecated.
WARNING: Attempting to execute replacement "hdfs dfsadmin" instead.
2018-10-18 18:01:27,316 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
report: FileSystem file:/// is not an HDFS file system
Usage: hdfs dfsadmin [-report] [-live] [-dead] [-decommissioning] [-enteringmaintenance] [-inmaintenance]
В файле core-site.xml я также обновил конфигурацию до следующего значения:
<property>
<!-- <name>fs.default.name</name> -->
<!-- <value>hdfs://localhost:8020</value> -->
<name>fs.defaultFS</name>
<value>hdfs://localhost.localdomain:8020/</value>
</property>
Я переформатировал тогда, и это ничего не меняет.Как уже упоминалось в другом ответе, домашняя страница haddop уже указана в файле ~/.bashrc,
export HADOOP_HOME=/Users/chaklader/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
Как перейти на файловую систему HDFS?Любые советы будут оценены.