Что такое чанкер в обработке естественного языка?

Question

Кто-нибудь знает, что такое чанкер в контексте обработки текста и для чего он используется?

Answer 1

Согласно этим слайдам , чанкинг является альтернативой синтаксическому анализу, который обеспечивает частичную синтаксическую структуру предложения с ограниченной глубиной дерева, в отличие от полной при синтаксическом анализе.

Он более ограничен, чем полный синтаксический анализ, но достаточен, когда речь идет о извлечении или игнорировании информации, и, следовательно, его многократно используют, поскольку он быстрее и надежнее синтаксического анализа.

Более подробная информация доступна на слайдах.

Дополнительные ссылки:

• Больше слайдов
• Записки с лекций в NYU

Answer 2

Я лично не согласен с другими ответами, но Юрафски и Мартин дают немного другое определение.Для них чанкинг - это, в частности, тип мелкого разбора, в котором нет рекурсивных фраз.

Одним из примеров, которые они приводят, является фраза «бегство из Денвера».Один синтаксический анализ, который не будет генерироваться чанкером, - это "[NP the flight [PP from [NP Denver]]]", потому что это подразумевает грамматику с NP-рекурсивностью.

Answer 3

Это очень упрощенный тип анализа, называемый неглубокий анализ .В проекте OpenNLP доступен модуль chunker, и вы можете просмотреть его документацию для примера фрагментирования в действии