Как скормить CoreNLP некоторые предварительно помеченные именованные объекты? - PullRequest
Новая
       62

Как скормить CoreNLP некоторые предварительно помеченные именованные объекты?

0 голосов
/ 30 января 2019

Я хочу использовать Standford CoreNLP, чтобы вытащить Coreferences и начать работать над зависимостями предварительно помеченного текста.В конечном итоге я надеюсь построить узлы и ребра графа между связанными именованными объектами.Я работаю в Python, но использую java-функции nltk для непосредственного вызова jar-файла edu.stanford.nlp.pipeline.StanfordCoreNLP (что в любом случае делает nltk за кулисами).

Мой предварительно помеченный текств следующем формате: 

PRE-LABELED:  During his youth, [PERSON: Alexander III of Macedon] was tutored by [PERSON: Aristotle] until age 16.  Following the conquest of [LOCATION: Anatolia], [PERSON: Alexander] broke the power of [LOCATION: Persia] in a series of decisive battles, most notably the battles of [LOCATION: Issus] and [LOCATION: Gaugamela].  He subsequently overthrew [PERSON: Persian King Darius III] and conquered the [ORGANIZATION: Achaemenid Empire] in its entirety.

Я попытался токенизировать свои предложения сам, составив список кортежей в формате IOB: [("Во время", "O"), ("его","O"), ("молодежь", "O"), ("Александр", "B-PERSON"), ("III", "I-PERSON"), ...]

ОднакоЯ не могу понять, как заставить CoreNLP использовать этот список кортежей в качестве отправной точки, создать дополнительные именованные объекты, которые изначально не были помечены, и найти ссылки на эти новые, более качественные токенизированные предложения.Я, очевидно, попытался просто удалить свои метки и позволить CoreNLP сделать это самому, но CoreNLP просто не так хорош в поиске Именованных сущностей, как помеченный человеком предварительно помеченный текст.

Мне нужен вывод какниже.Я понимаю, что будет трудно использовать зависимости, чтобы получить Edges таким образом, но мне нужно посмотреть, как далеко я могу получить. 

DESIRED OUTPUT:
[Person 1]:
Name: Alexander III of Macedon
Mentions:
* "Alexander III of Macedon"; Sent1 [4,5,6,7] # List of tokens
* "Alexander"; Sent2 [6]
* "He"; Sent3 [1]
Edges:
* "Person 2"; "tutored by"; "Aristotle"

[Person 2]:
Name: Aristotle
[....]

Как я могу кормить CoreNLP некоторыми предварительно определенными именованнымиСущности, и все же получите помощь с дополнительными именованными сущностями, с Coreference и с базовыми зависимостями?

PS Обратите внимание, что это не дубликат Распознавания именованных сущностей NLTK с пользовательскими данными ,Я не пытаюсь обучить новый классификатор с помощью моего предварительно помеченного NER, я только пытаюсь добавить CoreNLP к своим собственным при выполнении coreference (включая упоминания) и зависимостей от данного предложения.

1 Ответ

0 голосов
/ 19 февраля 2019

Ответ заключается в создании файла правил с дополнительными правилами TokensRegexNER .

Я использовал регулярное выражение для группировки помеченных имен.Из этого я построил временный файл правил, который я передал в jar corenlp с -ner.additional.regexner.mapping mytemprulesfile. 

Alexander III of Macedon    PERSON      PERSON,LOCATION,ORGANIZATION,MISC
Aristotle                   PERSON      PERSON,LOCATION,ORGANIZATION,MISC
Anatolia                    LOCATION    PERSON,LOCATION,ORGANIZATION,MISC
Alexander                   PERSON      PERSON,LOCATION,ORGANIZATION,MISC
Persia                      LOCATION    PERSON,LOCATION,ORGANIZATION,MISC
Issus                       LOCATION    PERSON,LOCATION,ORGANIZATION,MISC
Gaugamela                   LOCATION    PERSON,LOCATION,ORGANIZATION,MISC
Persian King Darius III     PERSON      PERSON,LOCATION,ORGANIZATION,MISC
Achaemenid Empire           ORGANIZATION    PERSON,LOCATION,ORGANIZATION,MISC

Я выровнял этот список для удобства чтения, но это значения, разделенные табуляцией.

Интересный вывод заключается в том, что некоторые предварительно помеченные многословными сущности остаются многословными как изначально помеченные, тогда как запуск corenlp без файлов правил иногда разделяет эти токены на отдельные сущности.

IЯ хотел конкретно идентифицировать токены именованных сущностей, полагая, что это облегчит привязки, но я думаю, что сейчас это подойдет.Как часто имена сущностей идентичны, но никак не связаны в одном документе?

Пример (выполнение занимает ~ 70 сек) 

import os, re, tempfile, json, nltk, pprint
from subprocess import PIPE
from nltk.internals import (
    find_jar_iter,
    config_java,
    java,
    _java_options,
    find_jars_within_path,
)

def ExtractLabeledEntitiesByRegex( text, regex ):
    rgx = re.compile(regex)
    nelist = []
    for mobj in rgx.finditer( text ):
        ne = mobj.group('ner')
        try:
            tag = mobj.group('tag')
        except IndexError:
            tag = 'PERSON'
        mstr = text[mobj.start():mobj.end()]
        nelist.append( (ne,tag,mstr) )
    cleantext = rgx.sub("\g<ner>", text)
    return (nelist, cleantext)

def GenerateTokensNERRules( nelist ):
    rules = ""
    for ne in nelist:
        rules += ne[0]+'\t'+ne[1]+'\tPERSON,LOCATION,ORGANIZATION,MISC\n'
    return rules

def GetEntities( origtext ):
    nelist, cleantext = ExtractLabeledEntitiesByRegex( origtext, '(\[(?P<tag>[a-zA-Z]+)\:\s*)(?P<ner>(\s*\w)+)(\s*\])' )

    origfile = tempfile.NamedTemporaryFile(mode='r+b', delete=False)
    origfile.write( cleantext.encode('utf-8') )
    origfile.flush()
    origfile.seek(0)
    nerrulefile = tempfile.NamedTemporaryFile(mode='r+b', delete=False)
    nerrulefile.write( GenerateTokensNERRules(nelist).encode('utf-8') )
    nerrulefile.flush()
    nerrulefile.seek(0)

    java_options='-mx4g'
    config_java(options=java_options, verbose=True)
    stanford_jar = '../stanford-corenlp-full-2018-10-05/stanford-corenlp-3.9.2.jar'
    stanford_dir = os.path.split(stanford_jar)[0]
    _classpath = tuple(find_jars_within_path(stanford_dir))

    cmd = ['edu.stanford.nlp.pipeline.StanfordCoreNLP',
        '-annotators','tokenize,ssplit,pos,lemma,ner,parse,coref,coref.mention,depparse,natlog,openie,relation',
        '-ner.combinationMode','HIGH_RECALL',
        '-ner.additional.regexner.mapping',nerrulefile.name,
        '-coref.algorithm','neural',
        '-outputFormat','json',
        '-file',origfile.name
        ]

    # java( cmd, classpath=_classpath, stdout=PIPE, stderr=PIPE )
    stdout, stderr = java( cmd, classpath=_classpath, stdout=PIPE, stderr=PIPE )    # Couldn't get working- stdin=textfile
    PrintJavaOutput( stdout, stderr )

    origfilenametuple = os.path.split(origfile.name)
    jsonfilename = origfilenametuple[len(origfilenametuple)-1] + '.json'

    os.unlink( origfile.name )
    os.unlink( nerrulefile.name )
    origfile.close()
    nerrulefile.close()

    with open( jsonfilename ) as jsonfile:
        jsondata = json.load(jsonfile)

    currentid = 0
    entities = []
    for sent in jsondata['sentences']:
        for thisentity in sent['entitymentions']:
            tag = thisentity['ner']
            if tag == 'PERSON' or tag == 'LOCATION' or tag == 'ORGANIZATION':
                entity = {
                    'id':currentid,
                    'label':thisentity['text'],
                    'tag':tag
                }
                entities.append( entity )
                currentid += 1

    return entities

#### RUN ####
corpustext = "During his youth, [PERSON:Alexander III of Macedon] was tutored by [PERSON: Aristotle] until age 16.  Following the conquest of [LOCATION: Anatolia], [PERSON: Alexander] broke the power of [LOCATION: Persia] in a series of decisive battles, most notably the battles of [LOCATION: Issus] and [LOCATION: Gaugamela].  He subsequently overthrew [PERSON: Persian King Darius III] and conquered the [ORGANIZATION: Achaemenid Empire] in its entirety."

entities = GetEntities( corpustext )
for thisent in entities:
    pprint.pprint( thisent )

Вывод 

{'id': 0, 'label': 'Alexander III of Macedon', 'tag': 'PERSON'}
{'id': 1, 'label': 'Aristotle', 'tag': 'PERSON'}
{'id': 2, 'label': 'his', 'tag': 'PERSON'}
{'id': 3, 'label': 'Anatolia', 'tag': 'LOCATION'}
{'id': 4, 'label': 'Alexander', 'tag': 'PERSON'}
{'id': 5, 'label': 'Persia', 'tag': 'LOCATION'}
{'id': 6, 'label': 'Issus', 'tag': 'LOCATION'}
{'id': 7, 'label': 'Gaugamela', 'tag': 'LOCATION'}
{'id': 8, 'label': 'Persian King Darius III', 'tag': 'PERSON'}
{'id': 9, 'label': 'Achaemenid Empire', 'tag': 'ORGANIZATION'}
{'id': 10, 'label': 'He', 'tag': 'PERSON'}
...