Как проиндексировать 300 000 текстовых файлов для поиска?

Question

У меня есть статическая коллекция из более чем 300 000 текстовых и HTML-файлов. Я хочу иметь возможность искать их по словам, точным фразам и в идеале шаблонам регулярных выражений Я хочу, чтобы поиски были быстрыми.

Я думаю, что поиск слов и фраз можно выполнить путем поиска словаря уникальных слов, относящихся к файлам, содержащим каждое слово, но есть ли способ получить достаточно быстрое соответствие регулярному выражению?

Я не против использовать существующее программное обеспечение, если оно существует.

Answer 1

Рассмотрим Lucene http://lucene.apache.org/java/docs/index.html

Answer 2

На рынке доступно множество пакетов, которые помогут вам достичь того, что вы хотите, некоторые с открытым исходным кодом, а некоторые поставляются с ценами:

Opensource:

asticsearch - на основе люцена

constellio - на основе люцена

Сфинкс - на основе C ++

Solr - построен на основе люцена

Answer 3

http://blog.webdistortion.com/2011/05/29/open-source-search-engines/

Answer 4

Вы можете взглянуть на Microsoft Search Server Express 2010: http://www.microsoft.com/enterprisesearch/searchserverexpress/en/us/technical-resources.aspx