Почему моя нейронная сеть никогда не перегружается?

Question

Я тренирую глубокую остаточную сеть с 10 скрытыми слоями с игровыми данными.

У кого-нибудь есть идеи, почему я не получаю никакого переоснащения здесь?Потеря тренировок и испытаний по-прежнему уменьшается после 100 эпох обучения.

https://imgur.com/Tf3DIZL

Answer 1

Всего лишь пара советов:

1. для глубокого обучения рекомендуется делать даже расщепление 90/10 или 95/5 (Эндрю Нг)
2. это небольшое различие между кривыми означаетчто ваш learning_rate не настроен;попытайтесь увеличить его (и, возможно, число epochs, если вы будете реализовывать какое-то «умное» lr-сокращение)
3. также целесообразно, чтобы DNN пытался перегрузить небольшой объем данных.(10-100 строк) и огромное количество итераций
4. проверка на утечку данных в наборе: анализ весов внутри каждого слоя может помочь вам в этом