могут ли HBase, MapReduce и HDFS работать на одной машине, на которой установлен и работает Hadoop? - PullRequest
Новая
       17

могут ли HBase, MapReduce и HDFS работать на одной машине, на которой установлен и работает Hadoop?

1 голос
/ 16 сентября 2010

Я работаю над дизайном поисковой системы, которая будет работать в облаке.Мы только начали, и понятия не имеем о Hdoop.Кто-нибудь может сказать, могут ли HBase, MapReduce и HDFS работать на одной машине, на которой установлен и работает Hdoop?

Ответы [ 3 ]

2 голосов
/ 20 сентября 2010

Да, вы можете. Вы даже можете создать виртуальную машину и запустить ее там на одном «компьютере» (что у меня есть :)).

Ключ заключается в простой установке Hadoop в « Псевдораспределенный режим », который даже описан в Быстрый запуск Hadoop .

Если вы используете дистрибутив Cloudera, они даже создали необходимые конфигурации для этого в RPM. Смотрите здесь для получения дополнительной информации.

НТН

2 голосов
/ 27 сентября 2010

здесь тоже самое, я запускаю hadoop / hbase / hive на одном компьютере.Если вы действительно хотите увидеть распределенные вычисления на одном компьютере, захватите много оперативной памяти, немного места на жестком диске и сделайте так -

  1. создайте одну или две виртуальные машины (используйте виртуальный блок)
  2. установите hadoop на каждом из них, сделайте вашу реальную установку (а не виртуальную) в качестве главного, оставайтесь ведомым
  3. настройте hadoop для реальной распределенной среды
  4. теперь, когда начнется hadoopна самом деле у вас должен быть кластер из нескольких компьютеров (один реальный, остальные виртуальные)

, это может быть просто экспериментом, потому что, если у вас нет приличной многоядерной или многоядерной системы, такая конфигурацияна самом деле потребляет больше на поддержание себя, чем на какую-либо производительность.

Удача.

- l4l

2 голосов
/ 17 сентября 2010

Да. В моей среде разработки я запускаю

  • NameNode (HDFS)
  • SecondaryNameNode (HDFS)
  • DataNode (HDFS)
  • JobTracker (MapReduce)
  • TaskTracker (MapReduce)
  • Мастер (HBase)
  • RegionServer (HBase)
  • QuorumPeer (ZooKeeper - необходим для HBase)

Кроме того, я запускаю свои приложения и сопоставляю и сокращаю задачи, запускаемые средством отслеживания задач. Запуск такого количества процессов на одном компьютере приводит к большому конфликту между ядрами процессора, памятью и дисковым вводом-выводом, поэтому это определенно не очень хорошо для высокой производительности, но нет никаких ограничений, кроме количества доступных ресурсов. *

...