Получение терминов в документе при поиске с использованием поиска по шаблону - PullRequest
Новая
       4

Получение терминов в документе при поиске с использованием поиска по шаблону

9 голосов
/ 10 апреля 2011

Я ищу способ найти термины, которые совпадают в документе, с помощью поиска Waldcard в Lucene. Я использовал объяснитель, чтобы попытаться найти термины, но это не удалось. Часть соответствующего кода ниже. 

ScoreDoc[] myHits = myTopDocs.scoreDocs;
int hitsCount = myHits.Length;
for (int myCounter = 0; myCounter < hitsCount; myCounter++)
{
    Document doc = searcher.Doc(myHits[myCounter].doc);
    Explanation explanation = searcher.Explain(myQuery, myCounter);
    string myExplanation = explanation.ToString();
    ...

Когда я выполняю поиск, скажем, micro *, документы обнаруживаются, и он входит в цикл, но myExplanation содержит NON-MATCH и никакой другой информации.

Как я могу получить термин, который был найден в этом документе?

Любая помощь будет наиболее ценной.

Привет

Ответы [ 2 ]

8 голосов
/ 21 сентября 2011 
    class TVM : TermVectorMapper
    {
        public List<string> FoundTerms = new List<string>();
        HashSet<string> _termTexts = new HashSet<string>();

        public TVM(Query q, IndexReader r) : base()
        {
            List<Term> allTerms = new List<Term>();
            q.Rewrite(r).ExtractTerms(allTerms);
            foreach (Term t in allTerms) _termTexts.Add(t.Text());
        }

        public override void SetExpectations(string field, int numTerms, bool storeOffsets, bool storePositions)
        {
        }

        public override void Map(string term, int frequency, TermVectorOffsetInfo[] offsets, int[] positions)
        {
            if (_termTexts.Contains(term)) FoundTerms.Add(term);
        }
    }

    void TermVectorMapperTest()
    {
        RAMDirectory dir = new RAMDirectory();
        IndexWriter writer = new IndexWriter(dir, new Lucene.Net.Analysis.Standard.StandardAnalyzer(), true);
        Document d = null;

        d = new Document();
        d.Add(new Field("text", "microscope aaa", Field.Store.YES, Field.Index.ANALYZED,Field.TermVector.WITH_POSITIONS_OFFSETS));
        writer.AddDocument(d);

        d = new Document();
        d.Add(new Field("text", "microsoft bbb", Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_POSITIONS_OFFSETS));
        writer.AddDocument(d);

        writer.Close();

        IndexReader reader = IndexReader.Open(dir);
        IndexSearcher searcher = new IndexSearcher(reader);

        QueryParser queryParser = new QueryParser("text", new Lucene.Net.Analysis.Standard.StandardAnalyzer());
        queryParser.SetMultiTermRewriteMethod(MultiTermQuery.SCORING_BOOLEAN_QUERY_REWRITE); 
        Query query = queryParser.Parse("micro*");

        TopDocs results = searcher.Search(query, 5);
        System.Diagnostics.Debug.Assert(results.TotalHits == 2);

        TVM tvm = new TVM(query, reader);
        for (int i = 0; i < results.ScoreDocs.Length; i++)
        {
            Console.Write("DOCID:" + results.ScoreDocs[i].Doc + " > ");
            reader.GetTermFreqVector(results.ScoreDocs[i].Doc, "text", tvm);
            foreach (string term in tvm.FoundTerms) Console.Write(term + " ");
            tvm.FoundTerms.Clear();
            Console.WriteLine();
        }
    }
4 голосов
/ 21 сентября 2011

Одним из способов является использование маркера;другим способом было бы имитировать то, что делает Highlighter, переписав ваш запрос, вызвав myQuery.rewrite () с соответствующим переписчиком;это, вероятно, ближе по духу к тому, что вы пытались.Это перезапишет запрос в BooleanQuery, содержащий все соответствующие термины;Вы можете вывести слова из этого довольно легко.Этого достаточно, чтобы вы пошли?

Вот идея, которую я имел в виду;извините за путаницу re: переписывание запросов;это не очень актуально здесь. 

  TokenStream tokens = TokenSources.getAnyTokenStream(IndexReader reader, int docId, String field, Analyzer analyzer);
CharTermAttribute termAtt = tokens.addAttribute(CharTermAttribute.class);
while (tokens.incrementToken()) {
  // do something with termAtt, which holds the matched term
}
...