Почему мы должны использовать лассо вместо линейной регрессии для выбора функций в машинном обучении?

Question

при выборе функций в машинном обучении можно использовать регрессию Лассо для определения наименее необходимой функции, выбирая наименьший коэффициент, но мы можем сделать то же самое с помощью линейной регрессии

линейная регрессия

Y = x0 + x1b1 + x2b2 ....... xnbn

здесь x1, x2, x3 ... xn - коэффициенты, используя градиентный спуск, мы получаем лучший коэффициент, мы может удалить признаки с наименьшим коэффициентом. Теперь, когда можно использовать линейную регрессию, зачем тогда использовать лассо-регрессию? я что-то упускаю, помогите пожалуйста

Answer 1

Lasso - это метод регуляризации, который позволяет избежать переобучения при обучении модели. Когда вы не используете какой-либо метод регуляризации, ваша функция потерь просто пытается минимизировать разницу между предсказанным значением и реальным значением min |y_pred - y|. Чтобы минимизировать эту функцию потерь, градиентный спуск изменяет коэффициент вашей модели. Этот шаг может вызвать переоснащение вашей модели, потому что ваша функция оптимизации хочет только минимизировать difference between prediction and real value. Чтобы решить эту проблему, методы регуляризации добавляют еще один штрафной член к функциям потерь: value of coefficients. Таким образом, когда ваша модель пытается минимизировать разницу между прогнозируемым и реальным значением, она также пытается не слишком сильно увеличивать коэффициенты.

Как вы упомянули, вы можете выбирать элементы обоими способами, однако техника лассо также решает проблему переобучения.