hadoop - Где хранятся файлы ввода / вывода в hadoop и как выполнить java файл в hadoop?

Question

Предположим, я пишу Java-программу и хочу запустить ее в Hadoop, затем

1. где файл должен быть сохранен?
2. как получить к нему доступ из hadoop?
3. Должен ли я звонить по следующей команде? hadoop classname
4. что такое команда в hadoop для выполнения файла java?

Answer 1

Самые простые ответы, которые я могу придумать, на ваши вопросы:

1) Anywhere
2,3,4) $HADOOP_HOME/bin/hadoop jar [path_to_your_jar_file]

Аналогичный вопрос был задан здесь Выполнение helloworld.java в apache hadoop

Answer 2

1. где файл должен быть сохранен?

Данные должны быть сохранены в формате "hdfs".Возможно, вы захотите загрузить его в кластер из источника данных, используя что-то вроде Apache Flume.Файл может быть размещен где угодно, но чаще всего это / user / hadoop /

как получить к нему доступ из hadoop?

SSH в головной узел кластера hadoop, как на стандартном сервере Linux.

Для просмотра списка корневых файлов hadoop hadoop fs -ls /

Должен ли я вызывать его по следующей команде?hadoop classname

Вы должны использовать команду hadoop для доступа к вашим данным и запуска программ, попробуйте hadoop help

что такое команда в hadoop для выполнения файла java?

hadoop -jar MyJar.jar com.mycompany.MainDriver arg[0] arg[1] ...

Answer 3

Это может показаться сложным, но это проще, чем вы думаете!

1. Скомпилируйте ваши map/reduce классы и ваш main класс в банку.Давайте назовем эту банку myjob.jar.
   • Этот jar-файл не обязательно должен включать библиотеки Hadoop, но он должен включать любые другие зависимости, которые у вас есть.
   • Ваш основной метод должен настроить и запустить ваше задание карты / сокращения, Вот пример .
2. Поместите этот jar на любой компьютер с установленной утилитой командной строки hadoop.
3. Запустите ваш метод main с помощью команды hadoopУтилита линии:
   • hadoop jar myjob.jar

Надеюсь, что поможет.