логистическая регрессия с весовыми ограничениями (ненагативный, нисходящий порядок)

Question

Меня спросили в интервью, может ли логистическая регрессия с такими весовыми ограничениями, как 1. Все веса неотрицательны и 2. Веса продолжают уменьшаться могут получить глобальные оптимумыЯ знаю, что без ограничений он может достичь глобальной оптимумы, при неингутивных ограничениях, я думаю, что с помощью множителя Лагранжа с условием kkt можно справиться с локальной оптимой, но есть ли способ, используя какой-то метод, чтобы получить локальную оптимуму с понижающимися весами?

Answer 1

Ограничение на порядок весов просто ограничивает поиск областью весового пространства, и максимум вероятности находится либо внутри региона, либо на его границе.Это та же самая ситуация, что и для неотрицательных весов, просто с другим регионом.В двух измерениях w1

Будьте осторожны с ограниченной оптимизациейВвод ограничения в игру только дает максимальный предмет ограничения, то есть решение на границе разрешенной области.Если неограниченный глобальный максимум находится внутри региона, тогда ограничение выполняется, и вам не нужно вводить ограничения в игру.Таким образом, способ решить такую ​​проблему - сначала найти неограниченный максимум.Если это в пределах региона, то все готово.В противном случае вам нужно решить ограниченную проблему.

Этот вопрос, вероятно, больше подходит для stats.stackexchange.com.