Градиент линейной регрессии - PullRequest
Новая
       19

Градиент линейной регрессии

0 голосов
/ 10 сентября 2018

У меня есть очень простой образец линейной регрессии. Реализация ниже (без регуляризации) 

class Learning:

    def assume(self, weights, x):
        return np.dot(x, np.transpose(weights))

    def cost(self, weights, x, y, lam):
        predict = self.assume(weights, x) \
            .reshape(len(x), 1)

        val = np.sum(np.square(predict - y), axis=0)
        assert val is not None

        assert val.shape == (1,)
        return val[0] / 2 * len(x)

    def grad(self, weights, x, y, lam):
        predict = self.assume(weights, x)\
            .reshape(len(x), 1)

        val = np.sum(np.multiply(
            x, (predict - y)), axis=0)
        assert val is not None

        assert val.shape == weights.shape
        return val / len(x)

И я хочу проверить градиент, чтобы он работал, с scipy.optimize. 

learn = Learning()
INPUTS = np.array([[1, 2],
          [1, 3],
          [1, 6]])
OUTPUTS = np.array([[3], [5], [11]])
WEIGHTS = np.array([1, 1])

t_check_grad = scipy.optimize.check_grad(
    learn.cost, learn.grad, WEIGHTS,INPUTS, OUTPUTS, 0)
print(t_check_grad)
# Output will be 73.2241602235811!!!

Я вручную проверил все вычисления от начала до конца. И это действительно правильно. Но в выводе я вижу чрезвычайно большую разницу! В чем причина?

1 Ответ

0 голосов
/ 11 сентября 2018

В вашей функции стоимости вы должны вернуть 

val[0] / (2 * len(x))

вместо val[0] / 2 * len(x). Тогда у вас будет 

print(t_check_grad)
# 1.20853633278e-07
...