Полиномиальная регрессия без scikitlearn - PullRequest
Новая
       3

Полиномиальная регрессия без scikitlearn

0 голосов
/ 23 марта 2020

Пытался делать полиномиальную регрессию. Однако при любых значениях n, отличных от 3, ошибка значительно возрастает, график x vs y_hat фактически начинает снижаться. Журналы были взяты, чтобы избавиться от выбросов 

import random
import numpy as np
import matplotlib.pyplot as plt
import math

x = np.array([math.log10(1), math.log10(9), math.log10(22), math.log10(24), math.log10(25), math.log10(26), math.log10(27), math.log10(28), math.log10(29), math.log10(30), math.log10(31), math.log10(32), math.log10(33), math.log10(34), math.log10(35)])

y = np.array([math.log10(8), math.log10(9), math.log10(51), math.log10(115), math.log10(164), math.log10(209),math.log10(278), math.log10(321), math.log10(382),math.log10(456), math.log10(596), math.log10(798),math.log10(1140), math.log10(1174), math.log10(1543)])

c = random.random()
plt.scatter(x, y)

n = 3
m=[]
x_real = []
alpha = 0.0001
y_hat = []

for i in range(1, n+1):
    x_real.append(x**i)
    m.append(random.random())

x_real = np.array(x_real)
m = np.array(m)
x_real = np.transpose(x_real)
y_hat = np.matmul(x_real, m)+c    

error = 0.5*(np.sum((y-y_hat)**2))
print(error)

sum = np.sum(y_hat-y)
for epochs in range(101):
    for items in range(n):
        m[items] = m[items] - (alpha*(sum*x[items]))
    c = c - (alpha*sum)
    y_hat = (np.matmul(x_real, m))+c
    error = 0.5*(np.sum((y-y_hat)**2))

print(error)

plt.plot(x, y_hat)

1 Ответ

0 голосов
/ 23 марта 2020

Вам необходимо обновить значение суммы для каждой эпохи: 

prev = 0
for epochs in range(101):
    sum = np.sum(y_hat-y)
    for items in range(n):
        m[items] = m[items] - (alpha*(sum*x[items]))
    c = c - (alpha*sum)
    y_hat = (np.matmul(x_real, m))+c
    error = 0.5*(np.sum((y-y_hat)**2))
    if error == prev:
        break

print(error)

plt.plot(x, y_hat)

Я предполагаю, что это небольшая ошибка!

Также вы можете разбить эпоху l oop, как только ошибки слишком близки, или в вашем случае, когда они равны для последовательных эпох.

...