Запуск примеров CRFSuite

Question

Я пытаюсь использовать CRFSuite, но не могу понять, как использовать пример / ner.py и pos.py

Точно, как мне сделать ввод вида:

# Ner.py
fields = 'y w pos chk'

или

# Pos.py
fields = 'w num cap sym p1 p2 p3 p4 s1 s2 s3 s4 y'

"y w pos", который я могу получить, например, из модели CoNNL, но часть "chk" и все эти поля в pos.py я на самом деле не получаю.

Кроме того, есть ли способ обработки необработанного текста (без всех этих тегов) с помощью CRFSuite, если у меня есть обученная модель?

Answer 1

@ Мишель прав.Эта задача требует другого набора данных.Я считаю, что наборы данных здесь: http://www.cnts.ua.ac.be/conll2003/ner/

Answer 2

Вы не можете использовать ner.py или pos.py с данными, предоставленными автором учебника.Вам нужен правильный набор данных CoNLL-2000.:)

В качестве примера вы можете найти его здесь

Я надеюсь, что правильно ответил на ваш вопрос.

Answer 3

Оказалось, что проще немного изменить файл pos.py, чтобы сделать то, что он должен делать.Теперь формат ввода для pos.py - 'w y', тогда как функции 'num cap sym p1 p2 p3 p4 s1 s2 s3 s4' все создаются самим сценарием.Это должно решить проблемы pos.py.Вот суть:

https://gist.github.com/fnl/21116fa57527946c5dbe

Что касается сценария ner.py, то, как уже ответил @Legend, соответствующий формат входных данных можно найти, например, здесь:

http://www.cnts.ua.ac.be/conll2003/ner/