Попробуйте найти хороший способ разбить английский документ на предложения в C #

Question

Есть ли хороший способ разбить английский документ на предложения?Я имею в виду, что английский документ часто включает в себя мистера миссис США и т. Д. Их трудно выделить.Нужна ли нам специальная библиотека естественных языков для этого?Я подозреваю, что нам это нужно.

Спасибо.

Answer 1

Технически, вам нужно полное понимание английского языка, чтобы выполнять работу.

В качестве достойного "почти" решения вы можете использовать словарь "вещей, которые заканчиваются в периоде" и разбитых на периоды, которые делаютНе следует сразу следовать одному из этих токенов.

Answer 2

Вы можете использовать детектор предложений , предоставляемый многочисленными инструментами НЛП, такими как OpenNLP или Stanford CoreNLP . Они могут обращаться с такими делами, как мистер миссис США и т. Д.

И OpenNLP, и Stanford CoreNLP написаны на Java.
SharpNLP - это C # (перенесено) версия OpenNLP.

Answer 3

Если каждое предложение начинается с заглавной буквы и заканчивается точкой, то я бы определил предложение, как указано выше, но содержит> 1 слово и не заканчивается на (общий список сокращений или регулярное выражение [a-zA-Z]. + )