Какая функция потерь будет хорошо сходиться в задаче классификации изображений с несколькими метками?

Question

Я обучил многоклавишный многоклассовый классификатор изображений, используя sigmoid в качестве функции активации вывода и binary_crossentropy в качестве функции потерь. Кривая точности для проверки показывает колебания вверх-вниз, в то время как кривая потерь в несколько эпох показывает странные (очень высокие) значения.

Ниже приведена кривая точности и потерь для точной настройки (последний блок) VGG19 модель с Dropout и BatchNormalization.

Кривая точности
Кривая потерь

Кривая точности и потерь для точных настроенная (последний блок) модель VGG19 с Dropout, BatchNormalization и Data Augmentation.

кривая точности с увеличением данных
кривая потерь с увеличением данных

Я обучил классификатор 1800 тренировочным изображениям (5 этикеток) и 100 проверочным изображениям. Я использовал оптимизатор SGD((lr=0.001, momentum=0.99). Кто-нибудь может объяснить, почему кривая потерь получает так много странных или высоких значений в некоторые эпохи? Должен ли я использовать другую функцию потерь? Если да, то какой?

Answer 1

Не волнуйтесь - все хорошо. Ваша кривая потерь не говорит много, особенно «скачки в кривой потерь». Они полностью разрешены, ваша модель все еще тренируется. Вы должны взглянуть на свою кривую точности, и она кажется довольно нормальной, я думаю.