Transformer Pipeline для NER возвращает частичные слова с ## s - PullRequest
Новая
       65

Transformer Pipeline для NER возвращает частичные слова с ## s

0 голосов
/ 08 апреля 2020

Как мне следует интерпретировать отдельные слова с '##' в них, возвращаемые конвейерами NER Transformer? Другие инструменты, такие как Flair и SpaCy, возвращают слово и его тег. Я работал с набором данных CONLL раньше и никогда не замечал ничего подобного. Кроме того, почему слова разделяются так:

Пример из HuggingFace: 

from transformers import pipeline

nlp = pipeline("ner")

sequence = "Hugging Face Inc. is a company based in New York City. Its headquarters are in DUMBO, therefore very" \
           "close to the Manhattan Bridge which is visible from the window."

print(nlp(sequence))

Вывод: 

[
    {'word': 'Hu', 'score': 0.9995632767677307, 'entity': 'I-ORG'},
    {'word': '##gging', 'score': 0.9915938973426819, 'entity': 'I-ORG'},
    {'word': 'Face', 'score': 0.9982671737670898, 'entity': 'I-ORG'},
    {'word': 'Inc', 'score': 0.9994403719902039, 'entity': 'I-ORG'},
    {'word': 'New', 'score': 0.9994346499443054, 'entity': 'I-LOC'},
    {'word': 'York', 'score': 0.9993270635604858, 'entity': 'I-LOC'},
    {'word': 'City', 'score': 0.9993864893913269, 'entity': 'I-LOC'},
    {'word': 'D', 'score': 0.9825621843338013, 'entity': 'I-LOC'},
    {'word': '##UM', 'score': 0.936983048915863, 'entity': 'I-LOC'},
    {'word': '##BO', 'score': 0.8987102508544922, 'entity': 'I-LOC'},
    {'word': 'Manhattan', 'score': 0.9758241176605225, 'entity': 'I-LOC'},
    {'word': 'Bridge', 'score': 0.990249514579773, 'entity': 'I-LOC'}
]

1 Ответ

1 голос
/ 08 апреля 2020

Преобразователи Pytorch и BERT создают 2 токена, обычные слова в виде токенов и слова + подслови в качестве токенов; которые делят слова по их базовому значению + их дополнение, в начале добавляем «##».

Допустим, у вас есть фраза: I like hugging animals

Первый набор токенов будет: 

["I", "like", "hugging", "animals"]

И второй список с подсловами будет: 

["I", "like", "hug", "##gging", "animal", "##s"]

Вы можете узнать больше здесь: https://www.kaggle.com/funtowiczmo/hugging-face-tutorials-training-tokenizer

...