Я реализовал базовый NN скрытого слоя для идентификации цифр в части набора данных MNIST (это адаптировано из курса Coursera ML).Это реализовано с использованием матриц и оптимизации сопряженных градиентов (fmincg).
Кроме того, я реализовал реализацию Keras и ванильную реализацию TF .
В ручной реализации есть 50 итераций (или эпох, но поскольку я использую весь пакет, каждая эпоха имеет размер 1).
Теперь, что я заметил,в том, что ручная реализация требует некоторого времени для вычисления, но после 50 итераций дает мне действительно хорошие результаты.
Keras и TF, с другой стороны, требуют меньше времени для вычислений, но для их выполнения требуется около 500-1000 итераций, если яЯ использую всю партию, чтобы дать мне те же результаты.(Хотя использование 50 эпох с каждой мини-серией обработки размером 32, похоже, тоже хорошо работает)
Так что мне интересно, как получилось руководство по импл.лучше сходится?И почему вычисление занимает больше времени, несмотря на то, что оно такое же количество итераций (50)?