как использовать функции gazetteer в качестве входных данных в других моделях с BILOU

Question

Я работал над списком справочника, который можно использовать для маркировки NER, но с моделями CRF или LSTM.У меня были сомнения, если у меня есть биграмм в качестве справочника, то имеют ли оба отдельных слова функцию 1?Например, я видел «Принеси яблочный сок», и яблочный сок находится в списке газеты для продуктов, тогда у Apple и сока есть запись 1 или только у второго слова «Сок» есть?

Answer 1

Я думаю, вы должны следовать формату IOB для пометки NER, как показано ниже.

Eddy N B-PER
Bonte N I-PER
is V O
woordvoerder N O
van Prep O
diezelfde Pron O
Hogeschool N B-ORG
. Punc O