Как объединить тэги NER с несколькими словами? - PullRequest
Новая
       44

Как объединить тэги NER с несколькими словами?

1 голос
/ 14 мая 2019

В настоящее время я использую allennlp для пометки NER.

Код: 

from allennlp.predictors.predictor import Predictor
predictor = Predictor.from_path("...path to model...")
sentence = "Top Gun was inspired by a newspaper article."
result = predictor.predict(sentence)
lang = {}
for word, tag in zip(result["words"], result["tags"]):
  if tag != "O":
    lang[word] = tag

Есть ли парсеры, которые могли бы объединить вывод ниже, чтобы он возвращал "Top Gun" и тег "WORK_OF_ART"? 

{'Top': 'B-WORK_OF_ART', 'Gun': 'L-WORK_OF_ART'}

1 Ответ

0 голосов
/ 26 июля 2019

Вы можете изменить путь к модели и попытаться использовать свой 

from allennlp.predictors.predictor import Predictor
predictor = Predictor.from_path("https://s3-us-west-2.amazonaws.com/allennlp/models/ner-model-2018.12.18.tar.gz") # change model path
sentence = "Did Uriah honestly think he could beat The Legend of Zelda in under three hours?"
result = predictor.predict(sentence)

lang = {}

completeWord = ""

for word, tag in zip(result["words"], result["tags"]):
    if(tag.startswith("B")):
        completeWord = completeWord + " " +word
        completeWord = completeWord + " " +word
    elif(tag.startswith("L")):
        completeWord = completeWord + " " +word
        lang[completeWord] = tag.split("-")[1]
        completeWord = ""
    else:
        lang[word] = tag

print(lang)

>>>{' The Legend of Zelda': 'MISC',
 '?': 'O',
 'Did': 'O',
 'Uriah': 'U-PER',
 'beat': 'O',
 'could': 'O',
 'he': 'O',
 'honestly': 'O',
 'hours': 'O',
 'in': 'O',
 'think': 'O',
 'three': 'O',
 'under': 'O'}

Пожалуйста, отметьте его как принятый, если это необходимо.

...