просторное обновление NER

Question

Пространство Документация показывает, как обновить NER с дополнительными примерами обучения. Однако он тренируется с использованием смещений объектов. Как выполнить ту же задачу, но используя схему BILUO ? Я хочу использовать обучающие примеры, которые содержат для каждого предложения список токенов и соответствующие теги BILUO .

Answer 1

Спасибо за ваш вопрос. Из документации :

Модуль spacy.gold также предоставляет две вспомогательные функции для преобразования смещений в теги BILUO и тегов BILUO в смещения объектов.

Итак, все будет так:

from spacy.gold import offsets_from_biluo_tags
doc = nlp('I like London.')
tags = ['O', 'O', 'U-LOC', 'O']
entities = offsets_from_biluo_tags(doc, tags)

Используя переменную entity для каждого предложения, создайте список TRAIN_DATA и перейдите к коду в документации.

Надеюсь, это поможет:)