Как правильно реализовать стохастический градиентный спуск? - PullRequest
Новая
       48

Как правильно реализовать стохастический градиентный спуск?

2 голосов
/ 19 апреля 2019

Я пытаюсь реализовать стохастический градиентный спуск в MATLAB, однако я не вижу никакой конвергенции. Мини-пакетный градиентный спуск работал, как и ожидалось, поэтому я считаю, что функция стоимости и шаги градиента верны.

У меня две основные проблемы:

  1. Произвольное перемешивание данных в тренировочном наборе перед для петли
  2. Выбор одного примера за раз

Вот мой код MATLAB:

Генерация данных 

alpha = 0.001;
num_iters = 10;

xrange =(-10:0.1:10); % data lenght
ydata  = 5*(xrange)+30; % data with gradient 2, intercept 5

% plot(xrange,ydata); grid on;
noise  = (2*randn(1,length(xrange))); % generating noise 
target = ydata + noise; % adding noise to data

f1 = figure
subplot(2,2,1);
scatter(xrange,target); grid on; hold on; % plot a scttaer
title('Linear Regression')
xlabel('xrange')
ylabel('ydata')

tita0 = randn(1,1); %intercept (randomised)
tita1 = randn(1,1); %gradient  (randomised)

% Initialize Objective Function History
J_history = zeros(num_iters, 1);

% Number of training examples
m = (length(xrange));

Данные перетасовки, градиентный спуск и функция стоимости 

% STEP1 : we shuffle the data
data = [ xrange, ydata];
data = data(randperm(size(data,1)),:);
y = data(:,1);
X = data(:,2:end);

for iter = 1:num_iters

    for i = 1:m

        x = X(:,i); % STEP2 Select one example

        h = tita0 + tita1.*x; % building the estimated     %Changed to xrange in BGD

        %c = (1/(2*length(xrange)))*sum((h-target).^2)

        temp0 = tita0 - alpha*((1/m)*sum((h-target)));
        temp1 = tita1 - alpha*((1/m)*sum((h-target).*x));  %Changed to xrange in BGD
        tita0 = temp0;
        tita1 = temp1;

        fprintf("here\n %d; %d", i, x)

    end

        J_history(iter) = (1/(2*m))*sum((h-target).^2); % Calculating cost from data to estimate

        fprintf('Iteration #%d - Cost = %d... \r\n',iter, J_history(iter));

end

При построении графика зависимости затрат от итераций и графиков линейной регрессии MSE устанавливает (локальный минимум?) Около 420, что неверно.

enter image description here

С другой стороны, если я перезапущу тот же самый код, но используя пакетный градиентный спуск, я получу приемлемые результаты. В пакетном градиентном спуске я изменяю x на xrange:

enter image description here

Есть предложения, что я делаю не так?

EDIT:

Я также попытался выбрать случайные индексы, используя: 

f = round(1+rand(1,1)*201);        %generating random indexes

и затем выберите один пример: 

x = xrange(f); % STEP2 Select one example

Переход к использованию x в гипотезе и GD-шагах также дает стоимость 420.

1 Ответ

0 голосов
/ 20 апреля 2019

Сначала нам нужно правильно перетасовать данные: 

data = [ xrange', target']; 
data = data(randperm(size(data,1)),:);

Затем нам нужно правильно проиндексировать X и y: 

y = data(:,2);
X = data(:,1);

Затем во время градиентного спуска мне нужно обновить на основеодно значение не на target, например: 

tita0 = tita0 - alpha*((1/m)*((h-y(i))));
tita1 = tita1 - alpha*((1/m)*((h-y(i)).*x));

Тета сходится к [5, 30] с указанными выше изменениями.

...