Можно ли загрузить предварительно обученную модель в пространство? - PullRequest
Новая
       23

Можно ли загрузить предварительно обученную модель в пространство?

1 голос
/ 25 апреля 2019

Я хочу использовать полную функциональность spacy, но у моего языка выбора нет собственной модели spacy.Под полной функциональностью я имею в виду сверточный слой, который разделяется между тэгером, парсером и NER;и иметь возможность обновлять все эти разные модели, расширяя словарный запас.

Мне нужна моя модель для анализа зависимостей и распознавания именованных сущностей, но я могу попробовать классифицировать текст и так далее.

В stanfordNLP есть модели, которые я могу использовать для анализа зависимостей.Я обнаружил модуль spacy_stanfordnlp.И это хорошо для получения тегов и визуализации модели зависимостей.Есть ли способ импортировать эту модель (или любую предварительно обученную модель) в конвейер Spacy в качестве парсера?Или мне нужно полностью переучиться на стороне spacy, используя результаты этого парсера в качестве тегов spacy и тренироваться с spacy?Я хочу перевести анализатор зависимостей в spacy для обучения модели NER с определенным словарным запасом и выполнения других задач в будущем.

Я пробовал что-то подобное, но это не работает 

    snlp = stanfordnlp.Pipeline(lang="tr")
    nlp1 = StanfordNLPLanguage(snlp)
    nlp1.to_disk("./stanfordnlp-spacy-model")    
    nlp = spacy.load("./stanfordnlp-spacy-model", snlp=snlp)
    parser = nlp.create_pipe("parser")
    nlp.add_pipe(parser)
    # this doesnt work, with a pytorch model from tr_imst tree bank, which is used by stanfodnlp
    nlp.parser.from_bytes("tr_imst_parser.pt")["model"]
...