Softmax регрессионные градиенты - PullRequest
Новая
       41

Softmax регрессионные градиенты

0 голосов
/ 08 октября 2018

От Ufldl softmax регрессия , градиент функции стоимости enter image description here Я пытался реализовать ее в Python, но моя потеря почти не изменилась: 

def update_theta(x, y, theta, learning_rate):
# 4 classes, 3 features
theta_gradients = np.zeros((4, 3)).astype(np.float)

for j in range(4):
    for i in range(len(x)):
        # p: softmax P(y = j|x, theta)
        p = softmax(sm_input(x[i], theta))[y[i]]
        # target function {y = j}
        p -= 1 if y[i] == j else 0
        x[i] = p * x[i]
        # sum gradients
        theta_gradients[j] += x[i]
    theta_gradients[j] = theta_gradients[j] / len(x)

theta = theta.T - learning_rate * theta_gradients
return theta.T

Мои первые потери 10 эпох и соотв. 

1.3863767797767788
train acc cnt 3
1.386293406734411
train acc cnt 255
1.3862943723056675
train acc cnt 3
1.3862943609888068
train acc cnt 255
1.386294361121427
train acc cnt 3
1.3862943611198806
train acc cnt 254
1.386294361119894
train acc cnt 4
1.3862943611198937
train acc cnt 125
1.3862943611198937
train acc cnt 125
1.3862943611198937
train acc cnt 125

Я не знаю, неправильно ли я понял уравнение, любое предложение будет оценено!

1 Ответ

0 голосов
/ 11 октября 2018

Может ли быть так, что вы всегда инициализируете свои тэта-градиенты в своей функции update_theta?

Обычно каждый шаг градиента должен извлекать уроки из предыдущего тэты.

Как пример: 

def step_gradient(theta_current, X, y, learning_rate):
    preds = predict_abs(theta_current, X)
    theta_gradient = -(2 / len(y)) * np.dot(X.T, (y - preds))
    theta = theta_current - learning_rate * theta_gradient
    return theta
...