Я реализовал нейронную сеть в python для учебного набора MNIST.
Моя гипотеза - матрица 10 x (num_training_example) (10 из 10 цифр)
Когда я используйте только небольшое количество обучающих примеров (для отладки) ie. 5 примеров, моя нейронная сеть может правильно классифицировать эти 5 изображений. (гипотеза выводит значения, близкие к единице, например 0,8, 0,9 для правильных цифр и 0,1 для неправильных цифр).
Но когда я использую полный тренировочный набор, моя гипотеза выдает очень маленькие значения во время обучения, обычно такие значения, как 0,01, самое большее 0,1 для всех цифр.
Мой backprop правильный, я использовал проверку градиента для проверки. Почему это происходит? и как я могу решить эту проблему? Мои настройки: скорость обучения 0,3, 1000 итераций учебного набора, 50 скрытых узлов и 2 скрытых слоя. Я использую сигмоид в качестве функции активации, но я пробовал tanh и softmax, и они не помогли. Я получаю 30% точности, поэтому предположение также исключено.
Я благодарен за любую помощь, спасибо.