Какой смысл загружать «модели» при использовании SpaCy? - PullRequest
Новая
       8

Какой смысл загружать «модели» при использовании SpaCy?

0 голосов
/ 15 сентября 2018

Что делает модель?

Я вижу, что термин распространяется вокруг НЛП и МЛ в целом, и, похоже, нет единого конкретного определения.

Что достигают модели в отношении NLP и SpaCy?

import spacy
from spacy import displacy

nlp = spacy.load('en_core_web_sm')
doc = nlp(u'This is a sentence.')
displacy.serve(doc, style='dep', options={'compact': True})

Ответы [ 3 ]

0 голосов
/ 15 сентября 2018

В руководстве spaCy 101 есть раздел по этому вопросу - см. Здесь:

В то время как некоторые функции spaCy работают независимо, другие требуют статистических моделей длябыть загруженным, что позволяет spaCy предсказать лингвистические аннотации - например, является ли слово глаголом или существительным.В настоящее время spaCy предлагает статистические модели для 8 языков , которые можно установить как отдельные модули Python.Модели могут различаться по размеру, скорости, использованию памяти, точности и данным, которые они включают.Модель, которую вы выбираете, всегда зависит от вашего варианта использования и текстов, с которыми вы работаете.Для случая использования общего назначения небольшие модели по умолчанию всегда являются хорошим началом.Обычно они включают следующие компоненты:

  • Двоичные веса для тегера части речи, анализатора зависимостей и распознавателя именованных объектов для прогнозирования этих аннотаций в контексте.
  • Лексические записи в словаре, т. Е. Слова и их контекстно-независимые атрибуты, такие как форма или орфография.
  • Векторы слов , т. Е. Представления многомерных значенийслова, позволяющие определить, насколько они похожи друг на друга.
  • Параметры конфигурации , такие как язык и параметры конвейера обработки, для перевода spaCy в правильное состояние при загрузке в модель.
0 голосов
/ 15 сентября 2018

Spacy не полностью независимо оснащен всеми моделями.

Несмотря на то, что он независимо заботится о большинстве функций, но да, для случаев использования, требующих внимания для прогнозирования linguistic annotations, дополнительные статистические модели должнызагружаться как отдельные модули.

Я полагаю, поскольку дополнительные модули подходят только для конкретных случаев использования, возможно, именно поэтому команда spacy решила не отставать от вспомогательных модулей spaCy.

0 голосов
/ 15 сентября 2018

Не уверен насчет SpaCy в частности, но в ML обычно относится к (математической?) Модели вашего алгоритма обучения. От Википедия : 

[Machine learning] Evolved from the study of pattern recognition and 
computational learning theory in artificial intelligence, machine learning 
explores the study and construction of algorithms that can learn from and make 
predictions on data – such algorithms overcome following strictly static 
program instructions by making data-driven predictions or decisions, through 
building a ***model*** from sample inputs.

Например, в нейронных сетях модель будет состоять из весов и функций активации и способа их объединения. Модель - это то, что вы тренируете, и когда вы тренируетесь, модель делает ваши прогнозы. Это ваша программа ML, или, по крайней мере, часть ML, если хотите.

...