Можно ли установить Hadoop на коробку linux и попробовать большинство (если не все) утилит Hadoop? - PullRequest
0 голосов
/ 29 января 2012

Я пытаюсь изучить Hadoop, возможно ли установить Hadoop на Linux-коробку и попробовать большинство (если не все) утилит Hadoop?

Ответы [ 2 ]

3 голосов
/ 30 января 2012

Вы можете скачать виртуальную машину CDH3 с cloudera. (https://ccp.cloudera.com/display/SUPPORT/Cloudera's+Hadoop+Demo+VM) и иметь все интегрированное в одной ВМ. ИМХО Это самый простой способ начать с hadoop.

0 голосов
/ 29 января 2012

Да. Это возможно.

Hadoop может работать в двух режимах локально:

  • Автономный режим - ничего не запускается, вы можете запускать задания hadoop локально из локальных файлов.
  • Псевдораспределенный режим - эффективно распределенный режим, но все демоны запускаются локально на одном узле.

Как их настроить и начать работу с ними, описано на странице hadoop .

Поскольку вы говорите, что хотите попробовать утилиты Hadoop, вы, вероятно, хотите попробовать псевдораспределенный режим. При использовании инструментов командной строки, заданий mapreduce, pig, hive и т. Д. Локальный кластер, работающий в псевдо-распределенном режиме, будет выглядеть как кластер из 1000 узлов (за исключением того, что он не может содержать столько данных).

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...