Я пытаюсь проанализировать потенциальные проблемы с регуляризацией L2 на градиентном спуске логистической регрессии.
На данный момент я понял, что
если лямбда-значение слишком велико, моя модель не будет достаточно изучать данные обучения, чтобы делать полезные прогнозы.
Если лямбда-значение слишком низкое, моя модель будет иметь возможность переопределить мои данные.
Тогда мой вопрос: «а что, если лямбда-значение может принимать отрицательное значение? Какие будут потенциальные проблемы?»
Если мы используем правильное значение лямбды, наш вес будет иметь форму нормального распределения. Тогда, с отрицательным значением лямбды, будет ли наш вес иметь бимодальное распределение?