обратная частота документа

Question

Частота обратных документов определяется следующим образом:

IDF (термин, документ) = tf (термин) * log (1 + n / df (термин))

где tf (термин) = «частота термина в документе», n = «количество документов», df (термин) = «количество документов, содержащих термин».

Просто любопытно, df (термин) - я считаю только документы, даже если он содержит термин более одного раза?

Также легко определить этот показатель с помощью lucene (.net)? Я только начинаю использовать последний и в настоящее время использую реляционную базу данных.

Спасибо.

Christian

Answer 1

Для использования idf с Lucene, проверьте API, например, здесь.

Вы правы в том, что документы учитываются только один раз.Идея состоит в том, чтобы получить функцию с нижней границей в части журнала.Например:

Если вам интересна теория idf за кулисами, вы можете заглянуть в этот документ.!

Answer 2

Конечно, вы должны посчитать DF (термин) один раз. поэтому вы должны сгруппировать слова, чтобы получить разные слова.

Смотрите мой класс IDF здесь