Плагин Eclipse Hadoop говорит «java.io.EOFException» при попытке подключения

Question

• Я пытаюсь настроить Eclipse для Hadoop, используя эту страницу
• Я использую Jagad плагина Hadoop Eclipse от здесь
• мой core-site.xml выглядит следующим образом:

  <property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:54310</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>
</configuration>

• мой mapred-site.xml имеет следующее

<property>
  <name>mapred.job.tracker</name>
  <value>localhost:54311</value>
  <description>The host and port that the MapReduce job tracker runs
  at.  If "local", then jobs are run in-process as a single map
  and reduce task.
  </description>
</property>

• Я установил местоположение hadoop под перспективой mapreduce в Eclipse как

  Имя местоположения: local Map Reduce Master

  • Хост: localhost
  • порт: 54310

  DFS Master

  • Хост: localhost
  • порт: 54311

• Когда я пытаюсь подключиться, выдается ошибка:

Ошибка: вызов localhost / 127.0.0.1: 54311ошибка локального исключения: java.io.EOFException

• Может кто-нибудь помочь мне решить эту проблему?

Спасибо

Answer 1

У меня не было особых проблем.Google даст вам https://issues.apache.org/jira/browse/MAPREDUCE-1280 Используйте файл JAR в вашем затмении

$ cat mapred-site.xml 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:8021</value>
    </property>
</configuration>

Я установил мастер на 8021, а мастер DFS на 8020.

Я думаю, что вы делаетету же ошибку я делал.Поменяйте номера портов в конфигурации eclipse, и они должны работать

Answer 2

Не думаю, что это проблема конфигурации hadoop. Возможно, это было вызвано плагином hadoop eclipse.

Когда вы создаете проект hadoop, который не относится к типу Map / Reduce Project (подключаемый модуль предоставляет тип проекта). Когда вы протестируете код MapReduce в этом проекте с помощью плагина hadoop eclipse, он выдаст исключение EOFException.

Тот же код и та же конфигурация hadoop успешно выполняются в проекте Map / Reduce.

Answer 3

К сожалению, плагин eclipse устарел, несколько месяцев назад мне удалось заставить его работать должным образом, но это было кошмаром, мне пришлось изменить там много параметров: (

Я бы порекомендовал использовать вебна основе просмотра hdfs: перейдите на http://localhost:50070 или любой другой хост, на котором вы установили hadoop, и нажмите на ссылку «Обзор файловой системы» (первая синяя ссылка сверху), вы увидите все, что вам нужно.