Источник слов весов?

Question

Я строю очень простой алгоритм ранжирования результатов, и мне хотелось бы узнать, как определить, какие слова обычно важнее в данной фразе.Это не должно быть точным, просто общее

Очевидно, сбросив любое слово до 4 букв, идентифицирующих имена.Но какими еще способами я могу выделить 3 наиболее значимых слова в предложении?

Answer 1

В отсутствие какой-либо другой информации справедливо предположить, что важные слова являются редкими словами. Посчитайте, сколько раз каждое слово появляется в вашем наборе документов. Слова с самыми низкими значениями важнее, а слова с самыми высокими значениями менее важны (если не почти бесполезны).

Связанные чтения:

• http://en.wikipedia.org/wiki/Stop_words
• http://en.wikipedia.org/wiki/Googlewhack
• http://en.wikipedia.org/wiki/Statistically_Improbable_Phrases