Потери и точность проверки с шипом

Question

Я использую Pytorch, чтобы выполнить задачу классификации изображений с обучением передачи ResNet18. Я использовал тонкую настройку для сети передачи обучения. У меня есть 16 классов с 100 тренировочными изображениями и 24 проверочными изображениями для каждого. Ниже приведены график потерь и график точности. Мои вопросы: 1. Правильный ли процесс обучения? Я имею в виду, есть ли переоснащение. 2. Почему в 4-й эпохе всплеск? Это означает переоснащение? Спасибо

Answer 1

1. Нет значительного переоснащения, так как ваша потеря / точность проверки близка к потере / точности обучения. Тем не менее, если вы хотите еще больше уменьшить запас, вы можете использовать методы увеличения изображения или регуляризации.

2. Пик в эту конкретную эпоху не обязательно означает перегрузку, так как ваша сеть смогла восстановиться из этого позже. Это, вероятно, произошло из-за того, что веса были в плохих локальных минимумах. Вы можете проверить, является ли это распространенным явлением или просто аберрацией, запустив эксперимент несколько раз, используя разные случайные начальные числа. В первом случае может помочь использование другого оптимизатора или снижение скорости обучения.