Самый простой и грубый способ сделать это будет:
извлечение первых N терминов (ключевых слов) с каждой страницы (может быть так же просто, как первые N терминов по частоте, за исключением стоп-слов, таких как «a, the, an» на английском языке). Это даст вам набор функций для каждой страницы.
Сравните верхние термины между страницами для совпадений. Вы можете использовать Wordnet для сравнения синонимов ваших терминов, например, кроссовки <==> кроссовки. Если у вас есть определенное совпадение ключевых слов, то страницы каким-то образом связаны.
EDIT:
Лучший способ получить набор ключевых слов для каждой страницы - извлечь статистически значимые слова для каждой страницы. Вы можете сделать это путем получения или составления списка (1 2 и 3 слова) n-грамм из справочного текста, например, wikipedia), а затем вычислите n-граммы для слов / фраз на вашей странице и сравните частоту появления ваших n-граммов с частотой встречаемости в глобальном наборе n-граммов. Если вы обнаружите, что у вас есть n-граммы на вашей странице, которые встречаются чаще, чем вы ожидаете, учитывая справочный корпус, то они, скорее всего, будут статистически значимыми для этой страницы.
Сложной частью в этом является получение или компиляция эталонной n-граммы (она должна быть достаточно большой, чтобы быть статистически жизнеспособной), которую вы должны сравнить с n-граммами на своих веб-страницах. Вы можете приобрести n-граммовый корпус Google или, возможно, создать свой собственный, просмотрев свободно доступные для загрузки веб-сайты, такие как Википедия. Другие, возможно, опубликовали свободно доступный набор n-грамм, если вы посмотрите в Google.