как хранить пользовательские атрибуты для информации о токене в JSON и использовать для обучения - PullRequest
Новая
       10

как хранить пользовательские атрибуты для информации о токене в JSON и использовать для обучения

0 голосов
/ 10 октября 2019

Используя gold.docs_to_json , я не могу сохранить пользовательские атрибуты токена в JSON 

{
    "id": 0,
    "paragraphs": [
        {
            "raw": "Complete the nlp task",
            "sentences": [
                {
                    "tokens": [
                        {
                            "id": 0,
                            "orth": "Complete",
                            "tag": "VB",
                            "head": 0,
                            "dep": "ROOT",
                            "ner": "O"
                        },
                        {
                            "id": 1,
                            "orth": "the",
                            "tag": "DT",
                            "head": 2,
                            "dep": "det",
                            "ner": "O"
                        },
                        {
                            "id": 2,
                            "orth": "nlp",
                            "tag": "NN",
                            "head": 1,
                            "dep": "compound",
                            "ner": "O"
                        },
                        {
                            "id": 3,
                            "orth": "task",
                            "tag": "NN",
                            "head": -3,
                            "dep": "dobj",
                            "ner": "O"
                        }
                    ],
                    "brackets": []
                }
            ]
        }
    ]
}

Как я могу также хранить пользовательские атрибуты? Также можно обучить пользовательские атрибуты с помощью spacy train.

неуважительные подробности: Я знаю, что можно создать пользовательский doc_to_json, который также будет хранить пользовательские атрибуты, ноЕсли я не могу настроить модель для маркировки пользовательских атрибутов, тогда она бесполезна.

...