IOExeception при ползании с орехом - PullRequest
Новая
       6

IOExeception при ползании с орехом

0 голосов
/ 15 февраля 2012

После одного дня ползания с орехом (1.4) ... наконец я получил плохое плохое исключение: 

.
.
.

-finishing thread FetcherThread, activeThreads=0
-activeThreads=0, spinWaiting=0, fetchQueues.totalSize=0
-activeThreads=0
Fetcher: java.io.IOException: Job failed!
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252)
    at org.apache.nutch.fetcher.Fetcher.fetch(Fetcher.java:1204)
    at org.apache.nutch.fetcher.Fetcher.run(Fetcher.java:1240)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.nutch.fetcher.Fetcher.main(Fetcher.java:1213)
.
.

.

У меня есть 20 новостных сайтов, и входной аргумент Nutch: глубина 3 и topN -1 у меня достаточно места в корневом каталоге моего Linux и около 4 ГБ оперативной памяти как я могу решить эту проблему? спасибо.

1 Ответ

0 голосов
/ 16 февраля 2012

Я думаю, что у вас может быть эта проблема: http://wiki.apache.org/nutch/NutchGotchas

Ответ, предоставленный там, гласит:

Ответ, который мы нашли в данной ситуации, заключается в том, что вы, скорее всего,Недостаточно места на диске в / tmp.Подумайте об использовании другого местоположения или, возможно, другого раздела для hadoop.tmp.dir (который можно установить в nutch-site.xml) с достаточным пространством для больших переходных файлов или использования кластера Hadoop.

...