Apache Nutch 2.3.1, увеличение памяти редуктора - PullRequest
Новая
       42

Apache Nutch 2.3.1, увеличение памяти редуктора

0 голосов
/ 12 февраля 2019

Я установил кластер небольшого размера, если Hadoop с Hbase для Nutch 2.3.1.Версия hadoop - 2.7.7, а Hbase - 0.98.Я настроил задание hadoop, и теперь мне нужно установить память для задачи редуктора в классе драйверов.Я узнал, что в простых заданиях Hadoop MR вы можете использовать JobConf метод setMemoryForReducer.Но в Nutch нет доступных опций.В моем случае, в настоящее время память редуктора установлена ​​на 4 ГБ через mapred-site.xml (конфигурация Hadoop).Но для Nutch я должен удвоить его.

Возможно ли это без изменения conf-файлов hadoop, либо через класс драйвера, либо через nutch-site.xml

1 Ответ

0 голосов
/ 13 февраля 2019

Наконец я смог найти решение.NutchJob делает цель.Ниже приведен фрагмент кода 

NutchJob job = NutchJob.getInstance(getConf(), "rankDomain-update");

int reducer_mem = 8192;
String memory = "-Xmx" + (int) (reducer_mem * 0.8)+ "m";
job.getConfiguration().setInt("mapreduce.reduce.memory.mb", reducer_mem);
job.getConfiguration().set("mapreduce.reduce.java.opts", memory );
// rest of code below
...