Веса к потере кроссентропии - PullRequest
0 голосов
/ 25 января 2019

Скажем, у меня есть два класса, класс A (100 образцов) и класс B (100 образцов), но во время тестирования класс A имеет (1000 образцов) и класс B (100 образцов). Как я должен рассчитывать и использовать веса для взвешенной потери CrossEntropy. Я смущен, если это должно быть 0,5, 0,5 или нет. Как я могу представить истинное распределение?

1 Ответ

0 голосов
/ 25 января 2019

У лучших установок обычно нет весов.

У вас очевидно есть перекос между распределением классов (1: 1 против 10: 1). Если вы не можете ничего сделать, установите вес для класса A на 10 и B на 1, чтобы правильно представить окончательное распределение. Им не нужно добавлять до 1, и вы можете снизить скорость обучения, если используете высокие значения (это просто множитель для компонента потерь).

Это грубое исправление, правильное решение состоит в том, чтобы исправить выборку, чтобы у вас был такой же дисбаланс в наборе входных данных для тренировки (и они должны соответствовать тому, что вы видите на практике).

Вышеприведенные вещи не соответствуют действительности, если допустить ошибку в B на практике значительно «дороже», чем допустить ошибку в A (т. Е. Пропустить скачок акции - это просто упущенная возможность, но купить акцию и не получить скачок акции) стоит вам денег). В этом случае вы хотите иметь более высокий штраф на B.

...