Что такое «хорошее» значение для функции потерь модели DL, такой как yolo?

Question

Я собрал ~ 1500 помеченных данных и тренировался с yolo v3, получил потерю обучения ~ 10, потерю проверки ~ 16. Очевидно, мы можем использовать реальные тестовые данные для оценки производительности модели, но мне интересно, есть ли способ сказать, является ли эта потеря тренировки = 10 "хорошей"? Или это означает, что мне нужно использовать больше данных о тренировках, чтобы посмотреть, смогу ли я снизить их до 5 или даже меньше?

В конечном счете, для хорошо известной модели с предопределенной функцией потерь, в конечном итоге, существует ли "хорошее" стандартное значение для потери при обучении?

спасибо.

Answer 1

вам нужно тренировать свои веса, пока средняя потеря не станет 0.0XXXXX. Это минимальное требование для обнаружения объекта с соответствующим IOU привязки.

Обновление: 28 ноября 2018 года

в то время как модель обнаружения обучающего объекта, потери могут иногда изменяться с большим набором данных. но все, что вам нужно рассчитать, - это средняя средняя точность (MAP), которая точно дала критерии точности обучаемой модели.

./darknet detector map .data .cfg .weights

Если ваша MAP близка к 0,1, то есть 100%, модель работает хорошо.

Перейдите по ссылке, чтобы узнать больше о MAP:
https://medium.com/@jonathan_hui/map-mean-average-precision-for-object-detection-45c121a31173

Answer 2

Ваша потеря в валидации является хорошим показателем того, может ли потеря в обучении еще больше облегчить, я имею в виду, что у меня нет одноразовых решений, вам придется настроить Hyper-параметры, проверить тест val и выполнить итерацию. Вы также можете получить хорошее представление, посмотрев на кривую потерь, уменьшалась ли она, когда вы прекратили тренировку, или она была плоской, вы можете получить представление о том, как развивались тренировки, и внести соответствующие изменения. GoodLuck