Я остановил тренировку YOLOv4 на мгновение, чтобы проверить, как идут дела. (для запуска ./darknet detector test ...). Затем я снова возобновил тренировки с последними весами (backup/XXX_last.weights). Но даже после нескольких часов ожидания тренировка не прогрессировала, а наоборот, увеличились потери.
Информация на тот момент:
- Потери перед остановкой: около 4,5
- Потери после остановки: около 6,9
- Было 12000 эпох, когда я остановил его.
- Я использую Google Compute Engine.
- Он имеет 15 ГБ памяти.
- ОС - ubuntu16.04.
- Всего 124 класса.
- Я тренирую YOLOv4 с помощью репозитория GitHub с помощью AlexyAB
Подскажите, пожалуйста, почему это происходит и как этого избежать.