Насколько я понимаю, линейная алгебра используется для реализации обычных наименьших квадратов (OLS), так что в вашем вопросе (1) и (2) фактически одно и то же.OLS может использоваться только для уравнений подгонки кривой, которые являются линейными по коэффициентам и не могут напрямую использоваться для нелинейных уравнений.Градиентный спуск - это один из способов подгонки нелинейных уравнений к кривой, но он требует хороших начальных параметров, с которых можно начать спуск в пространстве ошибок.
Я приглашаю более опытных статистиков из этого списка прокомментировать мои небольшиерезюме.