Я настроил Nutch со следующим в моем conf/nutch-site.xml
<property>
<name>plugin.includes</name>
<value>urlfilter-regex|protocol-(http|file)|parse-(text|html|pdf|msword)|in
dex-(basic|anchor|more)|query-(basic|site|url)|response-(json|xml)|summary-basic
|scoring-opic|urlnormalizer-(pass|regex|basic)</value>
<description>Regular expression naming plugin directory names to
include. Any plugin not matching this expression is excluded.
In any case you need at least include the nutch-extensionpoints plugin. By
default Nutch includes crawling just HTML and plain text via HTTP,
and basic indexing and search plugins. In order to use HTTPS please enable
protocol-httpclient, but be aware of possible intermittent problems with the
underlying commons-httpclient library.
</description>
</property>
Обратите внимание на список парсеров - только текст, html, pdf и msword. Но по какой-то странной причине я только что обнаружил некоторые файлы application / x-javascript в своем индексе. С чего бы это? Использует ли он то, что находится в каталоге плагинов, и игнорируя мой plugin.includes?