Оценка сходства текста с использованием одного запроса в одном документе в Gensim - PullRequest
Новая
       32

Оценка сходства текста с использованием одного запроса в одном документе в Gensim

0 голосов
/ 31 октября 2018

То, что я пытаюсь сделать, это получить оценку вероятности термина поиска / запроса в одном документе / тексте / абзаце.

Оценка должна указывать, сколько текста говорит о термине запроса.

Вот что я пробовал, но не получилось: 

def score(text_data,query):

    texts = [str(doc).encode('utf-8').lower().split() for doc in text_data]

    dictionary = Dictionary(texts)
    corpus = [dictionary.doc2bow(line) for line in texts]

    tfidf_model = TfidfModel(corpus)

    query_vec = dictionary.doc2bow(query.lower().split())
    query_vec = tfidf_model[query_vec]

    index = similarities.MatrixSimilarity(tfidf_model[corpus])

    x = tfidf_model[query_vec]
    sims = index[x]
    score = list(sims)

    return score

Мне нужно только 1 значение вероятности поискового термина в текстовых данных, от 0 до 1. Что я делаю неправильно?

...