EOFException при подключении к HDFS в hadoop - PullRequest
Новая
       34

EOFException при подключении к HDFS в hadoop

3 голосов
/ 15 марта 2012

Я в прилагаемой тестовой программе пытаюсь скопировать файл с локального диска в HDFS. Код выглядит следующим образом: 

package foo.foo1.foo2.test;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class TestTestTest {

    public static void main(String[] args) {

    String srcLocation = "foo";
    String destination = "hdfs:///tmp/";

    FileSystem hdfs = null;

    Configuration configuration = new Configuration();
    configuration.set("fs.default.name", "hdfs://namenode:54310/");

    try {
        hdfs = FileSystem.get(configuration);
    } catch (IOException e2) {
        e2.printStackTrace();
        return;
    }

    Path srcpath = new Path(srcLocation);
    Path dstpath = new Path(destination);

    try {
        hdfs.copyFromLocalFile(srcpath, dstpath);
    } catch (IOException e) {
        e.printStackTrace();
    }

    }

}

Это происходит со следующим исключением: 

java.io.IOException: Call to namenode/10.1.1.1:54310 failed on local exception:     java.io.EOFException
    at org.apache.hadoop.ipc.Client.wrapException(Client.java:775)
    at org.apache.hadoop.ipc.Client.call(Client.java:743)
    at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
    at $Proxy0.getProtocolVersion(Unknown Source)
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359)
    at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:106)
    at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:207)
    at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:170)
    at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:82)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1378)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95)
    at foo.foo1.foo2.test.TestTestTest.main(TestTestTest.java:22)
Caused by: java.io.EOFException
    at java.io.DataInputStream.readInt(DataInputStream.java:375)
    at org.apache.hadoop.ipc.Client$Connection.receiveResponse(Client.java:501)
    at org.apache.hadoop.ipc.Client$Connection.run(Client.java:446)

Мой вопрос обманчиво прост: что является причиной этого и как я могу заставить эту программу работать? Из того небольшого количества информации, которое мне удалось найти, я понял, что существует проблема с подключением к HDFS и что это как-то связано со свойством fs.default.name в конфигурации. Ниже приведен соответствующий раздел моего файла core-site.xml: 

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://namenode:54310</value>
  </property>

</configuration>

Возможно, особый интерес представляет тот факт, что, если я соберу все jar-файлы в моем classpath в один мега-jar и запусту эту программу с помощью команды hadoop, все будет работать отлично. Так что я делаю не так?

Ответы [ 4 ]

15 голосов
/ 15 марта 2012

Убедитесь, что вы используете ту же версию Hadoop, что и на вашем кластере.

1 голос
/ 14 июля 2012

Убедитесь в правильности исключения с помощью сериализуемого интерфейса и правильной версии hadoop.

0 голосов
/ 12 июня 2014

Я сталкивался с подобной проблемой в прошлом. Но проблема была моя, у меня было две разные версии Hadoop. я запустил демоны из более ранней версии, и bash_profile указывал на новую, и эта проблема возникла. Поэтому убедитесь, что вы не играете с несоответствием версий``

0 голосов
/ 27 октября 2013

Ваш код для проблемы, возможно, "foo" путь к каталогу при ошибке

...