Hadoop Framework для локального моделирования кластера - PullRequest
1 голос
/ 28 ноября 2011

Существует ли какая-либо инфраструктура Hadoop, в которой я могу имитировать полный кластер локально на компьютере с Linux или Windows?DFS может реплицировать данные локально, а уровень Compute будет выполнять параллельное выполнение?Есть ли такие или похожие рамки?

Ответы [ 2 ]

2 голосов
/ 28 ноября 2011

Вы можете установить Hadoop на одну или несколько виртуальных машин.Например, Cloudera предлагает загружаемую виртуальную машину с предустановленным дистрибутивом Hadoop

.
1 голос
/ 28 ноября 2011

Ссылка: Rumen - это инструмент для извлечения и анализа данных, созданный для MapReduce.Румен добывает журналы JobHistory для извлечения значимых данных и сохраняет их в легко анализируемом формате.Румен выполняет статистический анализ информации, извлеченной из журналов JobHistory, что может с помощью других инструментов выполнять задачи, такие как моделирование, эмуляция и сравнительный анализ.Rumen формирует основу для GridMix (v3) и Mumak.

Ссылка: Другие новые модули вклада включают Rumen (MAPREDUCE-751) и Mumak (MAPREDUCE-728), инструменты для моделирования MapReduce.Они предназначены для совместной работы: Rumen извлекает данные о заданиях из исторических журналов, которые затем использует Mumak для моделирования приложений и кластеров MapReduce в кластере.Gridmix3 также предназначен для работы со следами рубца.Анализатор журнала заданий - это еще один инструмент, который предоставляет информацию об использовании кластера MapReduce (HDFS-459).

Пример Руб данные находятся в SVN.К вашему сведению, FUI, Rumen и Mumak являются модулями вклада, и доступной документации не так много.Вот хорошая статья о GridMix .

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...