Градиентный спуск для линейной регрессии не находит оптимальных параметров - PullRequest
Новая
       67

Градиентный спуск для линейной регрессии не находит оптимальных параметров

0 голосов
/ 07 апреля 2019

Я пытаюсь реализовать алгоритм градиентного спуска для подгонки прямой линии к шумным данным, следуя следующему изображению, взятому из курса Эндрю Нга.

enter image description here

Сначала я объявляю зашумленную прямую линию, которую я хочу подогнать: 

xrange =(-10:0.1:10); % data lenght
ydata  = 2*(xrange)+5; % data with gradient 2, intercept 5
plot(xrange,ydata); grid on;
noise  = (2*randn(1,length(xrange))); % generating noise 
target = ydata + noise; % adding noise to data
figure; scatter(xrange,target); grid on; hold on; % plot a sctter

Затем я инициализирую оба параметра, историю целевой функции следующим образом: 

tita0 = 0 %intercept (randomised)
tita1 = 0 %gradient  (randomised)

% Initialize Objective Function History
J_history = zeros(num_iters, 1);

% Number of training examples
m = (length(xrange));

Я приступаю к записиалгоритм градиентного спуска: 

for iter = 1:num_iters

    h = tita0 + tita1.*xrange; % building the estimated 

    %c = (1/(2*length(xrange)))*sum((h-target).^2)

    temp0 = tita0 - alpha*((1/m)*sum((h-target)));
    temp1 = tita1 - alpha*((1/m)*sum((h-target))).*xrange;
    tita0 = temp0;
    tita1 = temp1;

    J_history(iter) = (1/(2*m))*sum((h-target).^2); % Calculating cost from data to estimate

end

Последний, но не менее важный, графики.Я использую встроенную функцию polyfit MATLAB, чтобы проверить точность моей посадки.

% print theta to screen
fprintf('Theta found by gradient descent: %f %f\n',tita0,  tita1(end));
fprintf('Minimum of objective function is %f \n',J_history(num_iters));

%Plot the linear fit
hold on; % keep previous plot visibledesg
plot(xrange, tita0+xrange*tita1(end), '-'); title(sprintf('Cost is %g',J_history(num_iters))); % plotting line on scatter

% Validate with polyfit fnc
poly_theta = polyfit(xrange,ydata,1);
plot(xrange, poly_theta(1)*xrange+poly_theta(2), 'y--');
legend('Training data', 'Linear regression','Linear regression with polyfit')
hold off

Результат:

enter image description here

Как видно, моя линейная регрессия не работает вообще.Кажется, что оба параметра (y-перехват и градиент) не сходятся к оптимальному решению.

Буду признателен за любые предположения о том, что я могу делать неправильно в моей реализации.Я не могу понять, где мое решение расходится с уравнениями, показанными выше.Спасибо!

Ответы [ 2 ]

2 голосов
/ 07 апреля 2019

Ваша реализация для theta_1 неверна. Уравнение Эндрю Нг также суммирует через х. Что у вас есть для theta_0 и theta_1: 

temp0 = tita0 - alpha*((1/m)*sum((h-target)));
temp1 = tita1 - alpha*((1/m)*sum((h-target))).*xrange;

Обратите внимание, что сумма ((h-target)) появляется в обеих формулах. Вам нужно будет сначала умножить х, прежде чем суммировать. Я не программист MatLab, поэтому я не могу исправить ваш код.

Общая картина того, что вы делаете в своей неверной реализации, заключается в том, что вы толкаете прогнозируемые значения для точки пересечения и наклона в одном и том же направлении, потому что ваше изменение всегда пропорционально сумме ((h-target)). Это не тот способ, которым работает градиентный спуск.

1 голос
/ 07 апреля 2019

Измените правило обновления для tita1 следующим образом: 

temp1 = tita1 - alpha*((1/m)*sum((h-target).*xrange));

Также еще одно замечание: вам не нужна временная переменная.

Установив 

num_iters = 100000
alpha = 0.001

Я могу восстановить 

octave:152> tita0
tita0 =  5.0824
octave:153> tita1
tita1 =  2.0085
...