Apache Nutch: управление DOM перед анализом

Question

Я хочу удалить определенные элементы из ответа на странице, прежде чем он будет передан до конца. В частности, я хочу пометить части своих страниц, т.е.

 <div class="noindex">I shall not be indexed</div>

И хочу удалить их до синтаксического разбора, чтобы впоследствии «NutchDexment» не присутствовало в NutchDocument. Я планирую окружить мою навигацию, заголовок, содержимое нижнего колонтитула этим, потому что сейчас они присутствуют в каждом документе в индексе.

Спасибо, Пол

Answer 1

У вас есть альтернатива для этого:

• Вы можете написать плагин для Nutch для этого.В этом блоге приведен отличный пример создания плагина на языке нутч: http://sujitpal.blogspot.com/2009/07/nutch-custom-plugin-to-parse-and-add.html

• Использование содержимого экстрактора: Здесь http://tomazkovacic.com/blog/122/evaluating-text-extraction-algorithms/ имеет некоторую алгоритмику.Может быть, лучший способ сделать это также в плагине Nutch.