Градиентный спуск для взрыва линейной регрессии - PullRequest
Новая
       38

Градиентный спуск для взрыва линейной регрессии

0 голосов
/ 07 мая 2018

Я пытаюсь реализовать градиентный спуск для линейной регрессии, используя этот ресурс: https://spin.atomicobject.com/2014/06/24/gradient-descent-linear-regression/

Моя проблема в том, что мои веса взрываются (экспоненциально увеличиваются) и по сути делают противоположное тому, что предполагалось.

Сначала я создал набор данных: 

def y(x, a):
    return 2*x + a*np.random.random_sample(len(x)) - a/2

x = np.arange(20)
y_true = y(x,10)

Что выглядит так:

Random data

И линейная функция для оптимизации: 

def y_predict(x, m, b):
    return m*x + b

Итак, для некоторых случайно выбранных параметров это результат: 

m0 = 1
b0 = 1

a = y_predict(x, m0, b0)

plt.scatter(x, y_true)
plt.plot(x, a)
plt.show()

enter image description here

Теперь стоимость будет выглядеть так: 

cost = (1/2)* np.sum((y_true - a) ** 2)

Частичная производная стоимости по отношению к прогнозу (dc_da): 

dc_da = (a - y_true) # still a vector

Частичная производная стоимости по параметру наклона (dc_dm): 

dc_dm = dc_da.dot(x) # now a constant

И частная производная стоимости по параметру y-intercept (dc_db): 

dc_db = np.sum(dc_da) # also a constant

И, наконец, реализация градиентного спуска: 

iterations = 10

m0 = 1
b0 = 1

learning_rate = 0.1

N = len(x)

for i in range(iterations):

    a = y_predict(x, m0, b0)

    cost = (1/2) * np.sum((y_true - a) ** 2)

    dc_da = (a - y_true)

    mgrad = dc_da.dot(x)
    bgrad = np.sum(dc_da)

    m0 -= learning_rate * (2 / N) * mgrad
    b0 -= learning_rate * (2 / N) * bgrad

    if (i % 2 == 0):
        print("Iteration {}".format(i))
        print("Cost: {}, m: {}, b: {}\n".format(cost, m0, b0))

Для которого результат: 

Iteration 0
Cost: 1341.5241150881411, m: 26.02473879743261, b: 2.8683883457327797

Iteration 2
Cost: 409781757.38124645, m: 13657.166910552878, b: 1053.5831308528543

Iteration 4
Cost: 132510115599264.75, m: 7765058.4350503925, b: 598610.1166795876

Iteration 6
Cost: 4.284947676217907e+19, m: 4415631880.089208, b: 340401694.5610262

Iteration 8
Cost: 1.3856132043127762e+25, m: 2510967578365.3584, b: 193570850213.62192

Очевидно, что-то не так. Но я не знаю, что не так с моей реализацией.

Спасибо за чтение

1 Ответ

0 голосов
/ 07 мая 2018

Проблема в скорости обучения.

При скорости обучения 0,1 размеры шагов были слишком велики, что приводило к тому, что они избегали наклонного уклона.

При скорости обучения 0,001 это результат: 

Iteration 0
Cost: 1341.5241150881411, m: 1.250247387974326, b: 1.0186838834573277

Iteration 20
Cost: 74.23350734398517, m: 2.0054600094398487, b: 1.0648169455682297

Iteration 40
Cost: 74.14854910310204, m: 2.00886824141609, b: 1.0531220375231194

Iteration 60
Cost: 74.07892801481468, m: 2.0097830838155835, b: 1.0413622803654885

Iteration 80
Cost: 74.01078231057598, m: 2.0106800645568503, b: 1.0297271562539492

Что выглядит как: 

plt.scatter(x,y_true)
plt.plot(x, a)
plt.show()

enter image description here

...