Прямо сейчас я использую тензорную библиотеку для обучения нейронной сети. Сначала я узнал, как это работает, создав базу данных MNIST с точностью 98%, а затем приступил к собственному исследованию.
Теперь, с новыми данными и новой моделью NN, потери на обучение не уменьшаются к первым 5-10 эпохам, я знаю, что больше времени на обучение равно лучшей специализации в данных ОБУЧЕНИЯ, но мой вопрос: Если убыток не уменьшился в первые несколько эпох, следует ли ожидать, что он внезапно начнет уменьшаться? обычно кривая оптимизации выглядит как логарифмическая c, поэтому, если она не оптимизируется сразу, мне кажется, что я уже должен ее остановить и попробовать настроить.
TL; DR: есть ли смысл оставить NN тренируется всю ночь, если к первым эпохам он не стал НИКОГДА лучше? или это признак того, что ваш NN многому не научится?