Слишком малая скорость обучения для множественной линейной регрессии - PullRequest
Новая
       61

Слишком малая скорость обучения для множественной линейной регрессии

0 голосов
/ 25 мая 2020

Я пытаюсь построить модель множественной линейной регрессии для boston набора данных в scikit-learn.

Я использую Stochasti c Gradient Descent (SGD) для оптимизации модели. И похоже, что мне нужно использовать очень маленькую скорость обучения (0,000000001), чтобы модель обучалась. Если я использую большую скорость обучения, модель не сможет учиться и отклонится от NaN или inf.

Итак, вот мои вопросы:

  1. Можно ли использовать такую ​​маленькую скорость обучения? Или есть какая-то проблема в моем коде ниже?
  2. Похоже, что потеря набора данных проверки уменьшается, на какое-то время увеличивается, а затем снова уменьшается. Это тот случай, когда моя модель столкнулась с проблемой переобучения, но, к счастью, ускользнула из-за силы нестабильности SGD по сравнению с методом пакетного градиентного спуска?

Вот мой код: 

from sklearn import datasets
import numpy as np
import matplotlib.pyplot as plt

def loss(x, y, w):
    predict_y = x @ w
    return np.sqrt(np.mean(np.square((y - predict_y))))

def status(w):
    w_ = np.squeeze(w)
    print("w = [", end="")
    for i in range(14):
        if(i == 13):
            print(w_[i], end="]")
        else:
            print(w_[i], end=", ") 
    print()

    training_loss = loss(training_x, training_y, w)
    validation_loss = loss(validation_x, validation_y, w)
    print("Training Loss = " + str(training_loss))
    print("Validation Loss = " + str(validation_loss))

    training_predict_y = training_x @ w
    validation_predict_y = validation_x @ w

    print("{:^40s}|{:^40s}".format("training", "validation"))
    print("{:^20s}{:^20s}|{:^20s}{:^20s}".format("predict_y", "true_y", "predict_y", "true_y"))
    for i in range(10):
        print("{:^20f}{:^20f}|{:^20f}{:^20f}".format(float(training_predict_y[i]), float(training_y[i]), float(validation_predict_y[i]), float(validation_y[i])))
    print()

def plot(title, data):
    plt.title(title)
    plt.plot(range(len(data)), data)
    plt.savefig(title + ".png", dpi = 300)
    plt.show()

np.random.seed(2020) # for consistency

# data
dataset = datasets.load_boston()
x = dataset.data
y = dataset.target

# reformat the data
x_ = np.concatenate((np.ones((x.shape[0], 1)), x), axis=1) # x0 = 1인 열 추가
y_ = np.expand_dims(y, axis=1)

# divide data into training set and validation set
training_x = x_[ 0:406, : ]
training_y = y_[ 0:406, : ]

validation_x = x_[ 406:506, : ]
validation_y = y_[ 406:506, : ]

# initialize w
w = np.random.rand(x_.shape[1], 1)
print("Before Training...")
status(w)

# hyperparameter
epochs = 100000
lr = 0.000000001

training_losses = []
validation_losses = []
data_num = training_x.shape[0]
for epoch in range(epochs):    
    for i in range(data_num):
        sample = training_x[ i:i + 1, : ]
        true_y = training_y[ i:i + 1, : ]

        predict_y = sample @ w

        # calculate gradient
        gradient = -(2 / sample.shape[0]) * sample.T @ (true_y - predict_y)

        # update w
        w = w - lr * gradient

    training_loss = loss(training_x, training_y, w)
    validation_loss = loss(validation_x, validation_y, w)
    training_losses.append(training_loss)
    validation_losses.append(validation_loss)

print("After Training...")
status(w)

plot("Training Loss - SGD", training_losses)
plot("Validation Loss - SGD", validation_losses)

Вот кривая потерь набора данных валидации. Validation Loss - SGD

1 Ответ

0 голосов
/ 15 июня 2020

Причина такой загадочной маленькой скорости обучения в том, что я не нормализовал входные данные. Данные должны быть нормализованы, если масштаб функций меняется. Я нормализовал данные и смог научить модель с разумной скоростью обучения (0,001).

...