Итак, я создал очень простую сеть Lenet5 и использовал ее в базе данных MNIST, которую я загружал из keras. Я использовал 10 эпох и размер пакета 128, и я использовал каждый оптимизатор, который мог придумать (SGD, RMSProp, Adam, Adamax, Adagrad, Nadam и др. c). Я вижу, что при использовании каждого оптимизатора тестовая точность / потеря & val точность / потеря различны. Итак, вот где у меня есть два вопроса, которые нуждаются в хорошем объяснении и углубленном анализе с помощью ваших слов или другого ресурса:
1.) Если бы я должен был изобразить точность оценки по сравнению с точностью теста, я бы знал разницу между два - это степень переоснащения, но в этом случае что именно является испытательным значением / точностью и почему оно go снижается в соответствии с точностью испытания
2.) Почему именно потеря / точность изменяется для каждого оптимизатора? И почему некоторые оптимизаторы «лучше» для сети, то есть Adamax имеет более высокую точность / меньшие потери, чем SGD.
Если кто-то может помочь, это было бы здорово, я действительно ценю это! Любые ссылки на ресурсы по оценке производительности также будут высоко оценены!