Мониторинг val_loss во время тренировки - PullRequest
1 голос
/ 15 мая 2019

У меня простой вопрос, который внезапно заставил меня усомниться в моей работе.

Если у меня есть только набор обучения и проверки, могу ли я контролировать val_loss во время обучения или это добавление смещения кмоя тренировка.Я хочу проверить свою точность в конце обучения на моем проверочном наборе, но вдруг я подумаю, что если я буду отслеживать этот набор данных во время обучения, это будет проблематично?или нет?

1 Ответ

1 голос
/ 15 мая 2019

Краткий ответ - да, отслеживание ошибки проверки и использование ее в качестве основы для принятия решения о конкретной настройке алгоритма добавляет смещение к вашему алгоритму. Для уточнения:

1) Вы исправляете гиперпараметры любого алгоритма ML и обучаете его на наборе поездов. Полученный вами алгоритм ML с определенным набором гиперпараметров подходит для обучающего набора, и вы используете набор проверки для оценки того, какую производительность вы можете получить с этими гиперпараметрами на невидимых данных

2) Но вы, очевидно, хотите отрегулировать свои гиперпараметры, чтобы получить максимальную производительность. Возможно, вы выполняете gridsearch или что-то подобное, чтобы получить наилучшие настройки гиперпараметра для этого конкретного алгоритма, используя набор проверки. В результате ваши настройки гиперпараметра соответствуют значению . Представьте, что некоторая информация о проверочном наборе все еще просачивается в вашу модель через гиперпараметры

3) В результате вы должны сделать следующее: разбить набор данных на обучающий набор, проверочный набор и тестовый набор. Используйте обучающий набор для обучения, используйте проверочный набор, чтобы принять решение о конкретных гиперпараметрах. Когда вы закончили (полностью сделали!) С тонкой настройкой вашей модели, вы должны использовать тестовый набор, который модель никогда не видела, чтобы получить оценку окончательных характеристик в боевом режиме.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...