Дилемма переоснащения в обучении Н.Н. - PullRequest
0 голосов
/ 26 июня 2019

Мой вопрос является продолжением вопроса, заданного другим пользователем: В чем разница между поездом, проверкой и набором тестов в нейронных сетях?

После того, как обучение закончено, завершается при достижении минимального MSE путем просмотра проверки и производительности набора поездов (это легко сделать с помощью поля nntool в Matlab), затем используется обученная структура net, если производительность невидимый тестовый набор немного слабее, чем тренировочный набор, у нас проблема переоснащения. Я всегда сталкиваюсь с этим случаем, хотя модель, для которой во время обучения выбираются параметры, соответствующие проверке и комплекту поездов, имеющие почти одинаковую производительность. Тогда почему производительность тестового набора хуже, чем у поезда?

1 Ответ

1 голос
/ 26 июня 2019

Данные обучения = Данные, которые мы используем для обучения нашей модели.

Данные проверки = Данные, которые мы используем для тестирования нашей модели в каждую эпоху или во время выполнения, чтобы мы могли досрочно остановить нашу модель вручную из-за чрезмерной подгонки или любой другой модели.Теперь предположим, что на моей модели запущено 1000 эпох, а на 500 эпохах я вижу, что моя модель дает 90% точности данных обучения и 70% точности данных валидации.Теперь я вижу, что моя модель переоснащена.Я могу вручную прекратить свое обучение и до того, как 1000 эпох завершат работу, и больше настраивать свою модель, чем наблюдать за поведением.

Тестирование данных = Теперь после завершения обучения модели после вычисления 1000 эпох.Я буду предсказывать свои тестовые данные и увижу их точность.это дает 86%

Моя точность обучения составляет 90%, точность проверки - 87%, а точность тестирования - 86%.это может варьироваться, потому что данные в наборе проверки, обучающем наборе и наборе тестирования совершенно разныеУ нас 70% выборок в обучающем наборе, 10% проверки и 20% тестирования.Теперь при моей проверке моя модель правильно предсказывает 8 изображений, а при тестировании моей модели правильно предсказывает 18 изображений из 100. Это нормально в реальных проектах, поскольку пиксели в каждом изображении меняются от другого изображения, поэтому может возникнуть небольшая разница.

В наборе тестирования их больше, чем набора проверки, что может быть одной из причин.Потому что чем больше изображений, тем больше риск ошибочного прогноза.например, с точностью 90% моя модель правильно предсказывает 90 из 100, но если я увеличу выборку изображения до 1000, чем моя модель может правильно предсказать (850, 800 или 900) изображений из 1000 на

...