Влияние потери перекрестной энтропии на F-показатель

Question

Я тренирую FCN (полностью сверточную сеть) и использую «Сигмоидальную перекрестную энтропию» в качестве функции потерь. мои измерения F-мера и MAE. График потери поезда / разработки с # итерациями выглядит примерно так: Несмотря на то, что потери от разработки немного увеличились после # Iter = 2200, мои измерения на наборе Dev были улучшены почти до #iter = 10000. Я хочу знать, возможно ли вообще машинное обучение? Если F-мера была улучшена, потеря должна также быть уменьшена? Как вы это объясните?

Каждый ответ будет оценен.

Answer 1

Короткий ответ, да это возможно.

Как бы я объяснил это, рассуждая о потере перекрестной энтропии и о том, как она отличается от метрик. Функции потери для классификации, вообще говоря, используются для оптимизации моделей, основанных на вероятностях (0,1 / 0,9), в то время как метрики обычно используют предсказанные метки. (0/1)

• Если предположить, что сильная уверенность (близка к 0 или к 1) в гипотезе вероятности модели, неправильный прогноз значительно увеличит потери и имеют небольшое уменьшение F-меры .
• Аналогично, в противоположном сценарии модель с низкой достоверностью (например, 0,49 / 0,51) будет иметь небольшое влияние на функцию потерь (с числовой точки зрения) ) и большее влияние на показатели .

Построение графика распределения ваших прогнозов поможет подтвердить эту гипотезу.