POS-теги дадут POS-тег каждому слову во входном предложении.
Анализ предложения (например, с использованием stanford pcfg) преобразует предложение в дерево, листья которого будут содержать POS-теги (которые соответствуют словам в предложении), но остальная часть дерева расскажет вам, какименно эти слова объединяются, чтобы составить общее предложение.Например, прилагательное и существительное могут объединяться в «Фраза существительного», которое может объединяться с другим прилагательным, образуя другую фразу существительного (например, быстрая коричневая лиса) (точный способ объединения фигур зависит от рассматриваемого синтаксического анализатора).
Вы можете увидеть, как выглядит вывод парсера на http://nlp.stanford.edu:8080/parser/index.jsp
Неглубокий парсер или «чанкер» находится где-то между этими двумя.Простой POS-тегер действительно быстр, но не дает вам достаточно информации, а полноценный парсер работает медленно и дает слишком много.POS-тегер можно рассматривать как синтаксический анализатор, который возвращает вам только самый нижний уровень дерева разбора.Чанкер может рассматриваться как синтаксический анализатор, который возвращает вам какой-то другой уровень дерева разбора.Иногда вам просто нужно знать, что куча слов вместе образуют словосочетание, но не заботятся о подструктуре дерева в этих словах (т.е. какие слова являются прилагательными, определителями, существительными и т. Д. И как они сочетаются),В таких случаях вы можете использовать чанкер, чтобы получить именно ту информацию, которая вам нужна, вместо того, чтобы тратить время на генерацию полного дерева разбора для предложения.