Сравнительный анализ рабочих мест Hadoop на низком уровне - PullRequest
0 голосов
/ 21 февраля 2012

Я должен записать пару переменных теста.К сожалению, некоторые переменные требуют от меня выполнения измерений в коде hadoop (map (), redu (), InputFormat и т. Д.).Мне было интересно, что было бы "правильным" способом сделать это.Я могу использовать глобальные переменные для хранения своих переменных и вывести их непосредственно перед завершением Tool.run (), но я думаю, что есть лучший способ сделать это.Кто-нибудь знает, как это сделать, или есть идеи?

Обновление

Код теста должен быть встроен в hadoop из-за некоторых ограничений.У меня есть приложение-тестер, которое выполняет много заданий hadoop и собирает результаты тестов.Идея состоит в том, чтобы запускать задания и собирать эталонные данные по выполнению заданий за один прогон «тестера».

1 Ответ

2 голосов
/ 21 февраля 2012

Ничто не мешает вам тестировать эти методы независимо от MapReduce. M / R не волшебство - просто JVM, выполняющая некоторый код на сервере для вас.

Мы постоянно выполняем тесты JUnit для отдельных функций Map и Reduce. Ничего существенно отличного в их профилировании.

...