Запуск Java-программы (которая использует HDFS JAVA API) вне $ HADOOP_HOME - PullRequest
Новая
       11

Запуск Java-программы (которая использует HDFS JAVA API) вне $ HADOOP_HOME

1 голос
/ 30 июля 2011

У меня есть простая программа на Java, которая просто читает и записывает текст в файл в HDFS. Я запускаю его, используя hadoop HDFSReadWrite text .

Я хочу запустить его из eclipse или просто как любую другую java-программу и по-прежнему иметь возможность использовать HDFS вне среды Hadoop. Есть способ сделать это? Мне это очень нужно.

1 Ответ

0 голосов
/ 30 июля 2011

Мне удалось запустить задание mapreduce в Eclipse.Это не должно сильно отличаться от программы HDFS.

  • Запустите namenode и datanode из командной строки.
  • Создайте проект Java в Eclipse.
  • Включите файлы common, hdfs и необходимые файлы jar.
  • Включите файл HDFSReadWrite.java в проект.
  • Передайте следующие параметры в программу java."- config ConfigurationDirectory text"
  • Выполнить HDFSReadWrite

Вместо того, чтобы включать файлы jar, соответствующие проекты Eclipse могут быть включены в путь сборки или файлы jar src, прикрепленные для отладкиЦель.

Вместо создания Java-проекта скопируйте файл hadoop-eclipse-plugin - *. jar в папку плагинов eclipse и создайте «Map / Reduce Project».Затем необходимые файлы JAR включаются автоматически.

Различные параметры команды указаны в приведенном ниже URL-адресе

http://hadoop.apache.org/common/docs/r0.21.0/commands_manual.html

...