Как использовать преобразование Spacy, чтобы сохранить информацию абзаца из файлов conllu? - PullRequest
Новая
       45

Как использовать преобразование Spacy, чтобы сохранить информацию абзаца из файлов conllu?

0 голосов
/ 08 июля 2019

Я пытаюсь преобразовать файлы conllu в формат Spacy jsonl. Эти файлы conllu содержат информацию об абзацах, как указано на веб-сайте Universal Dependencies . Проблема в том, что информация абзаца не переносится в преобразованный в jasonl файл, где каждый абзац содержит одно предложение.

Я использую Spacy версии 2.1.3 и использую только обязательные аргументы из команды spacy convert , в основном python -m spacy input.conllu output_dir

Вот первые несколько предложений из одного из моих файлов conllu (может быть, они не соответствуют спецификации?). Для удобства чтения я вставляю только первые несколько токенов каждого предложения. 

# sent_id = tp2-p1-s1
# O cansaço começou a afetar os vestibulandos no terceiro dia de exame da Fuvest.
1   O   O   DET DET gender=MASCULINE|number=SINGULAR|proper=NOT_PROPER  2   DET _   _
2   cansaço cansaço NOUN    NOUN    gender=MASCULINE|number=SINGULAR|proper=NOT_PROPER  5   NSUBJ   _   _
3   começou começar VERB    VERB    aspect=PERFECTIVE|mood=INDICATIVE|number=SINGULAR|person=THIRD|proper=NOT_PROPER|tense=PAST 5   AUX _   _

# sent_id = tp2-p1-s2
# "Estou meio cheia, mesmo", afirmou a candidata a filosofia Scyla Pereira Gouveia, 19, que fez as provas de biologia e química, de ontem, no colégio Pueri Domus.
1   "   "   PUNCT   PUNCT   proper=NOT_PROPER   2   P   _   _
2   Estou   Estar   VERB    VERB    aspect=IMPERFECTIVE|mood=INDICATIVE|number=SINGULAR|person=FIRST|proper=NOT_PROPER|tense=PRESENT    0   ROOT    _   _
3   meio    meio    NOUN    NOUN    gender=MASCULINE|number=SINGULAR|proper=NOT_PROPER  2   DOBJ    _   _
4   cheia   cheio   ADJ ADJ gender=MASCULINE|number=SINGULAR|proper=NOT_PROPER  3   AMOD    _   _

# sent_id = tp2-p1-s3
# Seu namorado, Guilherme Schneider, 18, que presta engenharia, faz exame no mesmo local.
1   Seu Seu PRON    PRON    gender=MASCULINE|number=SINGULAR|person=THIRD|proper=NOT_PROPER 2   DET _   _
2   namorado    namorado    NOUN    NOUN    gender=MASCULINE|number=SINGULAR|proper=NOT_PROPER  13  NSUBJ   _   _

# newpar id = tp2-p2
# sent_id = tp2-p2-s1
# Pelo menos um dos 38.454 convocados para a segunda fase da Fuvest tem fortes motivos para não concluir hoje as provas.
1   Pelo    Pelo    ADP ADP gender=MASCULINE|number=SINGULAR|proper=NOT_PROPER  3   ADVMOD  _   _
2   menos   menos   NOUN    NOUN    gender=MASCULINE|number=SINGULAR|proper=NOT_PROPER  1   MWE _   _
3   um  um  NUM NUM gender=MASCULINE|proper=NOT_PROPER  13  NSUBJ   _   _

Я ожидал, что вывод команды convert будет одним файлом, содержащим 2 строки, по одной для каждого абзаца. Я получаю 4 строки, по одной на каждое предложение.

Я бы очень хотел избежать создания собственного конвертера, если это вообще возможно.

Заранее спасибо

...