Алгоритм вычисления релевантности ключевого слова короткому тексту (50 - 100 слов)

Question

Я хочу вычислить релевантность ключевого слова короткому тексту описания.Что будет лучшим подходом с точки зрения эффективности и простоты реализации.Я использую C ++?

Answer 1

Простое решение: подсчитайте вхождения слова в тексте.

Хотя сделать хорошую работу - сложная проблема, над которой такие компании, как Google, работали годами.Если возможно, вы можете взглянуть на , используя их технологию

Чтобы расширить, попробуйте следующее:

• Используйте словарь (например, WordNet для замены всех синонимов общим словом
• Обнаружение похожих слов с использованием Левенштейновского расстояния

Это пока только поможет вам.Вам нужно будет выполнить некоторую обработку на естественном языке, чтобы по-настоящему понять, что в описании будет различать несколько текстов, содержащих ключевое слово одинаковое количество раз.

Answer 2

Обратитесь к этим предыдущим вопросам переполнения стека:

• Что такое полезные алгоритмы ранжирования для документов без ссылок (например, PDF, документы MS и т. Д.)?

• Алгоритм генерации «верхнего списка» с использованием частоты слова.