Обнаружение, содержит ли строка "реальное предложение"? - PullRequest
0 голосов
/ 17 сентября 2010

Есть ли какая-нибудь библиотека, которая может выяснить, содержит ли данная строка символов «настоящее предложение» на английском языке, что означает, что она содержит слова из английского? (Предложение не обязательно имеет смысл, но оно должно содержать настоящие английские слова)


Например, следующее предложение не является предложением (по крайней мере, на английском языке :) -

hsgdhjf asdf dsusdf udfhpiew

Ответы [ 2 ]

3 голосов
/ 17 сентября 2010

Это нерешенная проблема, так как компьютеры не имеют представления о том, что «имеет смысл». Даже если он пытается разобрать предложение, обнаруживая существительные, глаголы и т. Д., Все равно есть такие фразы, как «бесцветные зеленые идеи, яростно спящие» или «Буффало Буффало Буффало Буффало Буффало Буффало Буффало Буффало» это пройдет. Я сомневаюсь, что многие скажут, что это предложения.

Существует также несколько способов разбора предложений, например, "Время летит как стрела; фрукты летят как банан" можно проанализировать как:

  • прилагательное существительное глагол article существительное; существительное глагол предлог статьи существительное
  • существительное глагол предлог статьи существительное; прилагательное существительное глагол статья существительное

взять только два пути.

Суть: синтаксический анализ естественного языка сложный , а разобраться в нем еще сложнее.

3 голосов
/ 17 сентября 2010

Вы можете убедиться, что каждое слово написано правильно, используя средство проверки правописания (для этого есть несколько библиотек, ни одна из которых я не использовал), но это все равно не скажет вам, является ли предложение грамматическим. Кроме того, носитель английского языка, вероятно, посчитал бы предложение «реальным», даже если в нем были некоторые ошибки, а некоторых слов нет в словаре.

Лучший способ сделать это - показать в вашей программе предполагаемое предложение человеку, говорящему по-английски, и спросить его, является ли оно "настоящим предложением".

...