Hadoop не может получить доступ к S3 - PullRequest
Новая
       17

Hadoop не может получить доступ к S3

0 голосов
/ 31 октября 2011

У меня есть вопрос по поводу доступа hadoop s3 на aws. 

<property>
<name>fs.default.name</name>
<value>s3n://testhadoophiveserver</value>
</property>

<property>

<name>fs.s3n.awsAccessKeyId</name>
<value>I have fill it</value>
</property>
<property>
<name>fs.s3n.awsSecretAccessKey</name>
<value>I have fill it</value>
</property>

Итак. Я получил код ошибки при запуске start-all.sh. как это: 

hadoopmaster: Exception in thread "main" java.net.UnknownHostException: unknown host: testhadoophiveserver
hadoopmaster:   at org.apache.hadoop.ipc.Client$Connection.<init>(Client.java:195)

hadoopmaster:   at org.apache.hadoop.ipc.Client.getConnection(Client.java:850)

adoopmaster:    at org.apache.hadoop.ipc.Client.call(Client.java:720)

hadoopmaster:   at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)

hadoopmaster:   at $Proxy4.getProtocolVersion(Unknown Source)

hadoopmaster:   at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359)
hadoopmaster:   at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:346)
hadoopmaster:   at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:383)
hadoopmaster:   at org.apache.hadoop.ipc.RPC.waitForProxy(RPC.java:314)

но, если я использую HDFS, все в порядке. Теперь я не могу использовать файловую систему S3. кто может мне помочь?

1 Ответ

1 голос
/ 26 июля 2012

Я думаю, что вы не должны запускать "start-all.sh".Скрипты «start-all.sh» включают в себя код запуска HDFS и MapReduce.Не нужно запускать HDFS, если вы настроили использовать S3 в качестве базового уровня хранения.Файл start-dfs.sh вызывается файлом start-all.sh, поэтому он выполнит код для запуска HDFS, который вы не настроили.

...