Настройка параметров jobconf с помощью Karmasphere Analyst и Amazon Elastic MapReduce - PullRequest
0 голосов
/ 11 января 2012

Профилировщик Karmasphere Analyst предложил установить некоторые параметры jobconf, например, mapred.map.output.compression.codec = org.apache.hadoop.io.compress.LzoCodec.Но я не знаю, где их установить, и не могу найти его в документации Karmasphere Analyst.

Я пытался установить его в Access-> Configuration-> Extra Settings, но, похоже, он неэффект.Я также попытался поместить это в поле «Дополнительные параметры» в окне «Подключение к новому облаку» (в виде строки JSON, {mapred.map.output.compression.codec = org.apache.hadoop.io.compress.LzoCodec}), но это вызвало тихую ошибку, и рабочий процесс не запустился.

Спасибо за вашу помощь!

1 Ответ

0 голосов
/ 26 января 2012

Вы должны установить опцию в «Дополнительные настройки» и добавить необходимый файл JAR на вкладку «Классы / Ресурсы» вашей конфигурации подключения кластера.

...