Последние 2 года я потратил на разработку нашего собственного высокопроизводительного поискового движка на языке C. Для Java я настоятельно рекомендую Apache Lucene в качестве Ajay, упомянутого выше. Для Java это лучший по скорости, релевантности и возможностям.