что не так в моем скрипте повторного просмотра - PullRequest
Новая
       3

что не так в моем скрипте повторного просмотра

0 голосов
/ 28 января 2011

привет, я использую этот скрипт для повторного сканирования моего Nutch, но он дает исключение .. 

Indexer: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file:/home/hat/crawl/indexes already exists
    at org.apache.hadoop.mapred.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:111)
    at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:772)
    at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:730)
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1249)
    at org.apache.nutch.indexer.Indexer.index(Indexer.java:76)
    at org.apache.nutch.indexer.Indexer.run(Indexer.java:97)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.nutch.indexer.Indexer.main(Indexer.java:106)

скрипт 

bin/nutch inject crawl/crawldb urls
bin/nutch generate crawl/crawldb crawl/segments 
s1=`ls -d crawl/segments/2* | tail -1`
echo $s1
bin/nutch fetch $s1 -threads 100 -depth 3 -topN 5
bin/nutch updatedb crawl/crawldb $s1 


bin/nutch invertlinks crawl/linkdb -dir crawl/segments 

bin/nutch index crawl/indexes crawl/crawldb crawl/linkdb crawl/segments/*

получил это от http://wiki.apache.org/nutch/NutchTutorial

Может кто-нибудь сказать мне, что не так ...

1 Ответ

1 голос
/ 21 апреля 2012

вы используете тот же каталог для хранения сгенерированных индексов, т.е.ползать / индексы.Попробуйте использовать другой или удалите старые.

...