Есть ли способ оценить потери на тестовом образце с использованием пространственной модели

Question

Я пытаюсь создать двоичный классификатор со степенью простоты 2.1.3, и для выполнения теста на переоснащение я хотел бы оценить потери в тестовом образце.В своих уроках потери используются как параметр и как-то обновляются:

https://github.com/explosion/spaCy/blob/master/examples/training/train_textcat.py#L90

Я не могу найти ни одного примера, как оценить его на моем тестовом образце.В идеале я хотел бы создать графики, показанные здесь:

https://machinelearningmastery.com/learning-curves-for-diagnosing-machine-learning-model-performance/

Я попытался копаться в их коде, но не нашел ничего полезного.Кто-нибудь пробовал производить подобные участки?

Спасибо за помощь и комментарии :)

Answer 1

Переменная losses устанавливается во время цикла обучения, ср. https://github.com/explosion/spaCy/blob/master/spacy/pipeline/pipes.pyx#L931.

То, что вы хотите сделать, - это после каждой итерации (эпохи) распечатывать эту потерю обучения, а также выполнять свою собственную оценку с помощью набора тестов для продвинутых разработчиков. Когда вы применяете свою модель в обучении к набору разработчиков, вы можете использовать средние параметры модели, как описано здесь: https://spacy.io/usage/training#tips-param-avg.

Для этой оценки разработчика вы можете реализовать любую метрику, которая вам нравится, например, точность, точность, отзыв, F-оценка или функция потерь, подобная той, на которой вы тренировались, ср. https://github.com/explosion/spaCy/blob/master/spacy/pipeline/pipes.pyx#L950.