Интерпретация графиков потерь и точности Keras

Question

У меня возникли проблемы с интерпретацией этих графиков потерь и точности. Например, в первом значение потерь при проверке довольно низкое (оно уже начинается ниже 0,35), но затем быстро расходится. С другой стороны, во втором случае валидация начинается с более высокого значения, а затем кажется, что она достигает плато (оно не начинает расти, как в первом случае). Кроме того, четвертый график кажется несколько странным, так как потери валидации и точность валидации, по-видимому, снижаются в разные эпохи.

Какой из этих четырех графиков вы считаете лучшим?

Спасибо Заранее, Андреа

Answer 1

Хорошо, я нашел причину странной взаимосвязи между потерями и точностью на графиках.

Дело в том, что баллы валидации устанавливаются путем четырехкратной перекрестной валидации; таким образом, 4 модели изучены, и их результаты усреднены.

Однако я думал, что Keras's model.fit () сбросит веса в моделях, чего на самом деле нет. Итак, я добавил строку для переопределения модели внутри каждого сгиба, чтобы каждый раз начинать обучение с нуля.

Теперь я получаю гораздо более разумные графики, например:

Answer 2

Какой из этих четырех графиков вы считаете лучшим?

Это неправильный вопрос, поскольку вы не принимаете во внимание тест (или невидимые данные) в вашем анализе.

На первом графике обратите внимание, что потери при проверке увеличиваются, а потери при обучении уменьшаются. Это указывает на то, что ваша модель страдает от переоснащения - ситуация, когда ваша модель будет прогнозировать тренировочные данные с высокой точностью, но не данные проверки.

С точки зрения того, какие графики "лучше", нельзя просто сказать, оценивая только графики.

Я не уверен, что вы уже сделали это, но истинный тест на то, правильно ли работает ваша нейронная сеть, состоит в том, является ли модель способной предсказывать тестовые данные , т. е. новые данные, невидимые моделью.

Вы можете обнаружить, что модель хорошо справляется с прогнозированием данных обучения и проверки - и, следовательно, кривые потерь продолжают показывать наклон вниз. с уменьшением потерь, но это ничего не говорит о том, как модель будет работать с тестовыми данными.

В этом отношении вам следует проверить, какая конфигурация лучше всего работает с невидимыми данными - оценивая только по форме кривые ошибочны, если вы не учли точность пр постановления о новых данных.