Я обучаю многослойный персептрон, используя автоматическое дифференцирование, SGD, фиксированную скорость обучения, слагаемое импульса, логистическую функцию, функцию издержек norm2 (и квадрата и кросс-энтропии) (три разных симуляции) в Julia.
Моя точность обучения составляет около 87–97%, моя точность проверки не более 60% -> функция стоимости проверки НАЧИНАЕТ очень хорошее снижение, но после нескольких итераций становится хуже, я думаю, что я перегружаю проблему,Но когда набор для проверки достигает наилучшей точности (до падения и перенапряжения-> 60%), точность обучения составляет около 80%.
Я попытался добавить L1, а в другой симуляции L2 регуляризация и мое обучение / проверкаточность составила 0% (я пробовал 0,01, 0,1, 1,0 и 5,0 для параметра штрафа - лямбда).Функция стоимости колеблется с небольшими значениями, близкими к тому же значению, что означает, что я получил прямолинейный калькулятор (как на рисунке. Является ли функция ошибки обучения против итераций с L2 и без методов регуляризации).Я использовал его для трех различных функций стоимости, и результат один и тот же, очень плохой.Что может быть?Спасибо!!!