Почему ошибка Лассо увеличивается при обновлении?(+ оценка)

Question

Пока обновлялся Лассо, я проверял MSE и количество ненулевых записей.

Однако на каждой итерации MSE увеличивалось, и число нулей коэффициентов колебалось в зависимости от лямбды.

Итак, мои вопросы:

1. На каждом обновлении iter. Почему MSE увеличивается?

2. На каждом обновлении iter.,может ли количество нулей коэффициентов увеличиваться или уменьшаться?

Плюс, я обнаружил, что при каждом обновлении iter., чем больше лямбда, тем больше число нулей и меньшелямбда, количество их уменьшается.

Какова общая оценка Лассо?Я думал, что MSE также может быть использован.

Наконец, я загрузил несколько изображений ниже для понимания.

Спасибо

Answer 1

Допустим, вы пытаетесь вписать набор данных, где объекты обозначены X, а метки - y, с моделью f(X,w), где w - параметры модели.

LASSO попытается минимизировать следующую целевую функцию:

||y-f(X,w)||^2 + λ|w|_1

В этой цели ||y-f(X,w)||^2 обозначает сумму квадратов всех ошибок модели, а |w|_1 обозначает сумму всех компонентов w. Таким образом, для больших λ с, модель будет очень стараться, чтобы w имел много нулевых компонентов, так что в целом |w|_1 будет маленьким. Это объясняет, почему число нулей увеличивается, когда увеличивается лямбда. Если λ меньше, первое слагаемое цели будет гораздо важнее, и поэтому модель будет сосредоточена на исправлении ошибок.

Выбор правильного значения λ обычно требует использования других возможностей и построения разных моделей на другом наборе данных, чем обучающий набор (называемый набором проверки). Чтобы узнать больше об этом, вам следует поискать «перекрестная проверка» и «выбор модели».