Почему регрессия считается частью машинного обучения?

Question

Если под машинным обучением (ML) мы подразумеваем любую программу, которая учится на данных , то тогда да, можно сказать, что регрессия является частью ML. Но есть несколько других аспектов машинного обучения, таких как: решение улучшается итеративно на основе некоторого показателя производительности . Принимая во внимание, что для линейной регрессии существует решение в замкнутой форме в форме прямой формулы, с помощью которой можно определить все параметры, и оно не включает итераций. Но существует другая версия оценки параметров для регрессии, которая использует градиентный спуск и включает несколько итераций. Означает ли это, что эта итеративная версия оценки параметров для регрессии делается принудительно, чтобы привести регрессию под зонтик машинного обучения? Или итеративная версия имеет некоторые преимущества, которые не предлагает прямая формула?

Answer 1

Я не буду комментировать, является ли регрессия частью ML или нет (я действительно не вижу, откуда пришли ваши определения). Что касается преимущества итеративного подхода, обратите внимание, что решение для линейной регрессии в закрытой форме выглядит следующим образом:

Где X - ваш дизайнматрица. Обратите внимание, что инвертирование матрицы - это операция O (n ^ 3), которая недопустима для больших n. Это очевидное преимущество итеративного подхода с использованием GD.