Проблемы, которые вы рассматриваете, имеют две стороны: извлечение ключевых слов и суммирование документов. Первый, который я, очевидно, использовал бы для ключевых слов, имеет очень простой наивный подход: выбрать наиболее часто встречающееся слово в контенте, за исключением всех стоп-слов (посмотрите это в Википедии, если вы не знаете, что это такое). Есть много более продвинутых методов, включая взвешивание для включения синонимов, расположение в тексте или разметке и многое другое. Есть несколько примеров простых сценариев извлечения ключевых слов в PHP, которые вы можете реализовать без проблем. Просто поищите в Google что-то вроде «извлечения ключевых слов PHP», и вы найдете несколько.
Вторая проблема, с другой стороны, немного сложнее и все еще является источником большой академической работы. Вам нужно обобщение для очень подробного мета тега описания. На самом деле это может не стоить вашего времени, если вы не ищете масштабный проект ИИ, который все еще может показаться жестким или непоследовательным. Другим подходом может быть просто эвристика, использующая извлечение ключевых слов: «Эта статья о (первое наиболее распространенное ключевое слово), (второе наиболее распространенное ключевое слово) и (третье наиболее распространенное ключевое слово)». Вы, по крайней мере, получаете выгоду от встраивания некоторого контента как в ключевое слово, так и в описание. Если вы хотите встряхнуть, используйте вместо этого некоторые синонимы. Существует полуфункциональная PHP-реализация WordNet , но я бы предложил использовать для этого тяжелую работу Natural Language Toolkit для Python , так как большая часть работы уже выполнена для вас.
Я хотел бы воспользоваться кратким моментом, чтобы поддержать ваши исследования в этой области и игнорировать высказывания мистера Варницы. Мета-информация важна как для классификации документов, так и для извлечения информации в области поиска. Было бы глупо не иметь данных, и на самом деле стоит автоматизировать их для крупномасштабных систем управления контентом. Удачи вам в ваших усилиях.