Ошибка HADOOP в WINDOWS при поиске имени хоста $ 'hostname \ r' с именем start-dfs.sh Имя или служба не известны - PullRequest
Новая
       46

Ошибка HADOOP в WINDOWS при поиске имени хоста $ 'hostname \ r' с именем start-dfs.sh Имя или служба не известны

0 голосов
/ 26 июня 2018

Я устанавливаю Hadoop в Windows 7 64bit с помощью Cygwin.После того, как я успешно отформатировал Hadoop, я хочу запустить его с помощью команды: start-dfs.sh.но он сообщает как: 

]tarting namenodes on [DATASCIENCES01
: Name or service not knownstname datasciences01
Starting datanodes
]tarting secondary namenodes [0.0.0.0
: Name or service not knownstname 0.0.0.0
]tarting journal nodes [
: Name or service not knownstname

 2018-06-26 10:47:10,208 WARN util.Shell: Did not find winutils.exe: {}

java.io.FileNotFoundException: Could not locate Hadoop executable: C:\cygwin64\usr\local\hadoop-3.1.0\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblems
    at org.apache.hadoop.util.Shell.getQualifiedBinInner(Shell.java:620)
    at org.apache.hadoop.util.Shell.getQualifiedBin(Shell.java:593)
    at org.apache.hadoop.util.Shell.<clinit>(Shell.java:690)
    at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:78)
    at org.apache.hadoop.hdfs.tools.GetConf$Command.<clinit>(GetConf.java:86)
    at org.apache.hadoop.hdfs.tools.GetConf.<clinit>(GetConf.java:136)
2018-06-26 10:47:10,540 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Я использовал команду: bash -x ./start-dfs.sh, чтобы попытаться отладить: 

]tarting namenodes on [DATASCIENCES01
+ hadoop_uservar_su hdfs namenode /cygdrive/c/cygwin64/usr/local/hadoop-3.1.0/bin/hdfs --workers --config /usr/local/hadoop-3.1.0/etc/hadoop --hostnames $'DATASCIENCES01\r' --daemon start namenode
+ declare program=hdfs
+ declare command=namenode
+ shift 2
+ declare uprogram
+ declare ucommand
+ declare uvar
+ declare svar
+ hadoop_privilege_check
+ [[ 1063539 = 0 ]]
+ /cygdrive/c/cygwin64/usr/local/hadoop-3.1.0/bin/hdfs --workers --config /usr/local/hadoop-3.1.0/etc/hadoop --hostnames $'DATASCIENCES01\r' --daemon start namenode
: Name or service not knownstname datasciences01

И я вижу, что мое имя хостаупоминается как 'DATASCIENCES01 \ r' вместо 'DATASCIENCES01' .

Я предполагаю, что \ r соответствует типичному концу строки Windows, поэтому я использовал dos2unix в порядкепреобразовать файл core-site.xml, в котором упоминается имя NameNode: 

<configuration>
<property>
<name>hadoop.tmp.dir</name>
 <value>/opt/hadoop_data</value>
 <description>directory for hadoop data</description>
 </property>
 <property>
 <name>fs.default.name</name>      
 <value>hdfs://DATASCIENCES01:54311</value>
 <description> data to be put on this URI</description>
 </property>
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://DATASCIENCES01:54311</value>
 <description>Use HDFS as file storage engine</description>
 </property>
 <property>
 <name>dfs.permissions</name>
 <value>false</value>
 </property>
 </configuration>

Но это не меняет этот '\ r' в конце.

Я нашел похожую тему по этой ссылке:

Когда Hadoop 2.7 запускается в Windows 7 64 бит: Имя или служба не известныstname localhost

Ноответа до сих пор нет.

Заранее спасибо

...