Создание веб-индексатора в Java?

Question

Я должен написать веб-сканер на Java. Сканирующая часть проста, но индексирующая часть сложна. Мне нужно иметь возможность запросить индексатор и сделать так, чтобы он возвращал совпадения (запросы из нескольких слов). Какова была бы лучшая структура данных для такой вещи?

Answer 1

Используйте инструмент индексирования, такой как Lucene , Solr или Компас .

Answer 2

Решением шага индексации и поиска является использование структуры данных с инвертированным индексом , и наилучший доступный пакет с открытым исходным кодом, реализующий это для индексации и поиска, - Lucence .

Существуют также проекты с открытым исходным кодом, которые предоставляют комплексное решение для шагов сканирования, индексации и поиска, которые могут представлять интерес, например, Nutch

Эта бесплатная онлайн-книга по поиску информации может вам помочь (см. Главу о построении инвертированного индекса ).

Answer 3

Если вы делаете это с нуля, вы должны взглянуть на инвертированный индекс структуру данных. Если вы можете использовать один с полки, посмотрите на проект Nutch .