Влияние признания названного субъекта предыдущего предложения - PullRequest
Новая
       71

Влияние признания названного субъекта предыдущего предложения

0 голосов
/ 13 ноября 2018

Имеет ли предыдущее предложение какое-либо влияние на текущее предложение в Признании именованных организаций (NER)? Одинаков ли результат, если вы применяете NER к каждому предложению отдельно по сравнению с применением NER к статьям, состоящим из нескольких предложений?

Более конкретно, я использую Spacy NER. Это первый подход: 

import spacy
nlp = spacy.load('en')

sentences = "My name is Bruce and I come from New York. Pete is my best friend from Amsterdam."

nlp_object = nlp(sentences)
print([(y.text, y.label_) for y in nlp_object.ents])

, который дает этот результат: 

[('Bruce', 'PERSON'), ('New York', 'GPE'), ('Pete', 'PERSON'), ('Amsterdam', 'GPE')]

Но вместо двух последних строк вы также можете разбить предложения и применить NER к каждому предложению: 

for s in sentences.split("."):
    nlp_object = nlp(s)
    print([(y.text, y.label_) for y in nlp_object.ents])

, который возвращает тот же результат (но вместо этого в двух отдельных строках): 

[('Bruce', 'PERSON'), ('New York', 'GPE')]
[('Pete', 'PERSON'), ('Amsterdam', 'GPE')]

В этом примере выполнение кода дает те же извлеченные сущности. Но как основная модель делает это? Есть ли какое-либо влияние предыдущего предложения в NER? И есть ли разница между различными реализациями NER?

1 Ответ

0 голосов
/ 13 ноября 2018

Система Spacy NER использует глубокую нейронную сеть для обучения миллионов примеров пар слово-сущность. Пары обычно обучаются как отдельные предложения, если вы посмотрите их примерные обучающие коды здесь. .

Хотя я не знаю, как именно обучается предварительно обученная модель, которую предоставляет spacy, я могу предположить, что они также обучаются с использованием отдельных предложений. Даже если это не так, предыдущие предложения не должны оказывать никакого влияния, потому что данные обучения передаются не в систему глубокого обучения как слова, а как векторные представления, полученные из других образцов текста. Взгляните на эту статью , чтобы понять, как контекстные слова влияют на предсказание.

...