Ридж регрессия против регрессии Лассо

Question

Всегда ли регрессия Лассо или регрессия эластичной сети всегда лучше, чем регрессия гребня?

Я новичок в машинном обучении.Я провел эти регрессии на нескольких наборах данных, и у меня всегда был один и тот же результат, что среднеквадратическая ошибка является наименьшей в лассо-регрессии.Это просто совпадение или это правда в любом случае?

Answer 1

Я думаю, что этот вопрос лучше подходит для подфорума перекрестной проверки.

По этой теме Джеймс, Виттен, Хасти и Тибширани пишут в своей книге «Введение в статистическое обучение»:

Эти два примера показывают, что ни регрессия гребня, ни Лассо будет доминировать над другими. В общем, можно ожидать лассо, чтобы лучше работать в обстановке, где относительно небольшой количество предикторов имеют существенные коэффициенты, а остальные у предикторов есть коэффициенты, которые очень малы или равны нулю. Регрессия гребня будет работать лучше, когда ответ является функцией много предикторов, все с коэффициентами примерно одинакового размера. Тем не мение, количество предикторов, связанных с ответом, никогда не бывает известный априори для реальных наборов данных. Техника, такая как перекрестная проверка может быть использован для определения того, какой подход лучше конкретный набор данных. (глава 6.2)

Answer 2

Это отличается для каждой проблемы. В регрессии Лассо алгоритм пытается удалить лишние функции, которые не имеют никакого смысла, что звучит лучше, потому что мы можем также тренироваться с меньшим количеством данных, но обработка немного сложнее, но в регрессии риджа алгоритм пытается сделать эти дополнительные функции менее эффективными, но не удаляя их полностью, что проще в обработке.