НЛП - объединение слов одного значения в один

Question

Я новичок в НЛП. У меня вопрос, могу ли я объединить слова одного и того же значения в одно слово, используя НЛП, например, с учетом следующих строк:

1. It’s too noisy here
2. Come on people whats up with all the chatter
3. Why are people shouting like crazy
4. Shut up people, why are you making so much noise

Как можно заметить, общий аспект здесь заключается в том, что люди жалуются на шум.

noisy, chatter, shouting, noise -> Noise

Можно ли сгруппировать слова, используя общий объект, используя НЛП. Я использую R, чтобы найти решение этой проблемы.

Я использовал примерный набор данных Twitter, и моим ожидаемым результатом будет таблица, содержащая;

 Noise
It’s too noisy here
Come on people whats up with all the chatter
Why are people shouting like crazy
Shut up people, why are you making so much noise

Я выполнил поиск в Интернете для ссылки, прежде чем публиковать здесь. Любое предложение или ценный вклад окажут большую помощь.

Спасибо

Answer 1

Проблема, которую вы упоминаете, более известна как перефразирование, и она не полностью решена. Возможно, если вы хотите быстрое решение, вы можете начать заменять синонимы, wordnet может помочь с этим.

Другая идея - вычислить сходство предложений (просто получить векторное представление каждого предложения, используя косинусное расстояние для измерения сходства друг с другом)

Я думаю, эта статья может послужить хорошим введением для вашей проблемы.