Передача конфигурации hadoop в команду Nutch crawl - PullRequest
0 голосов
/ 05 октября 2018

Я хочу иметь возможность указывать количество картографов, редукторов и очереди заданий при выполнении команды сканирования Apache Nutch в распределенном режиме.Вот что я пробовал, но не работает:

runtime/deploy/bin/crawl -D mapreduce.map.memory.mb=4000 -D mapreduce.reduce.memory.mb=2000 -D mapred.job.queue.name=some-queue -i -D solr.server.url=http://http://my-solr-server:8983/solr/my-collection -s /user/me/seed /user/me/crawl-dir 1

Как передать параметры hadoop в команду?

...