Проверка корреляции / взаимной информации между выходом модели и метками

Question

Я тренируюсь немного net с настройкой обучения под наблюдением. Входы - это векторы, а выходы (и метки) - числа.

Я использую потерю MSE, и потеря уменьшается со временем (как на поезде, так и на тестовом наборе), но я все еще не уверен, научится ли net предсказывать метку по входным данным или просто научитесь выводить числа, которые лучше напоминают распределение меток.

Если бы я взял вектор меток и вектор выходных данных для каждой эпохи и проверил корреляцию / взаимную информацию между ними, это могло бы дать мне представление о том, действительно ли сети улучшаются? Я не знаком с такой работой. Обычно это делают?

Answer 1

Если ваши метки являются классами / дескретами (т. Е. 0, 1, 2 ...), вам следует рассмотреть возможность использования другой потери (мультикатегория cross_entropy), из которой вы могли бы легко вывести метрики в виде точности, недоумения и т. Д. c.

Однако вы все равно можете думать о ней как о проблеме регрессии (как вы это делаете, если я ее хорошо понимаю), то есть о непрерывных предсказаниях и дискретных метках, а также о точности вывода, например, с использованием округления (предсказания).