Осуществление стохастического градиентного спуска - MATLAB - PullRequest
Новая
       15

Осуществление стохастического градиентного спуска - MATLAB

6 голосов
/ 25 февраля 2011

Я пытаюсь реализовать " Стохастический градиентный спуск " в MATLAB. Я точно следовал алгоритму, но я получаю ОЧЕНЬ ОЧЕНЬ большое значение w (коэффициенты) для функции прогнозирования / подбора. У меня ошибка в алгоритме?

Алгоритм: enter image description here

x = 0:0.1:2*pi      // X-axis
    n = size(x,2);      
    r = -0.2+(0.4).*rand(n,1);  //generating random noise to be added to the sin(x) function

    t=zeros(1,n);
    y=zeros(1,n);



    for i=1:n
        t(i)=sin(x(i))+r(i);          // adding the noise
        y(i)=sin(x(i));               // the function without noise
    end

    f = round(1+rand(20,1)*n);        //generating random indexes

    h = x(f);                         //choosing random x points
    k = t(f);                         //chossing random y points

    m=size(h,2);                     // length of the h vector

    scatter(h,k,'Red');              // drawing the training points (with noise)
    %scatter(x,t,2);
    hold on;
    plot(x,sin(x));                 // plotting the Sin function


    w = [0.3 1 0.5];                    // starting point of w
    a=0.05;                         // learning rate "alpha"

// ---------------- ALGORITHM ---------------------//
    for i=1:20
        v = [1 h(i) h(i).^2];                      // X vector
        e = ((w*v') - k(i)).*v;            // prediction - observation
        w = w - a*e;                       // updating w
    end

    hold on;

    l = 0:1:6;
    g = w(1)+w(2)*l+w(3)*(l.^2);
    plot(l,g,'Yellow');                      // drawing the prediction function

Ответы [ 2 ]

7 голосов
/ 26 февраля 2011

Если вы используете слишком большую скорость обучения, SGD может расходиться.
Скорость обучения должна сходиться к нулю.

3 голосов
/ 26 февраля 2011

обычно, если w заканчивается слишком большими значениями, происходит переобучение.Я не очень внимательно посмотрел на твой код.Но я думаю, что в вашем коде отсутствует правильный термин регуляризации, который предотвращает переобучение обучения.Кроме того, здесь: 

e = ((w*v') - k(i)).*v;

Здесь v не является градиентом предсказанного значения, не так ли?Согласно алгоритму, вы должны заменить его.Посмотрим, как будет после этого.

...