Численный расчет градиента кросс-энтропии softmax - PullRequest
Новая
       10

Численный расчет градиента кросс-энтропии softmax

0 голосов
/ 12 июня 2018

Я реализовал функцию softmax(), softmax_crossentropy() и производную кросс-энтропии softmax: grad_softmax_crossentropy().Теперь я хотел вычислить производную функции кросс-энтропии softmax численно.Я попытался сделать это с помощью метода конечных разностей, но функция возвращает только нули.Вот мой код с некоторыми случайными данными: 

import numpy as np

batch_size = 3
classes = 10

# random preactivations
a = np.random.randint(1,100,(batch_size,classes))
# random labels
y = np.random.randint(0,np.size(a,axis=1),(batch_size,1))

def softmax(a):
    epowa = np.exp(a-np.max(a,axis=1,keepdims=True))
    return epowa/np.sum(epowa,axis=1,keepdims=True)

print(softmax(a))

def softmax_crossentropy(a, y):
    y_one_hot = np.eye(classes)[y[:,0]]
    return -np.sum(y_one_hot*np.log(softmax(a)),axis=1)

print(softmax_crossentropy(a, y))

def grad_softmax_crossentropy(a, y):
    y_one_hot = np.eye(classes)[y[:,0]]
    return softmax(a) - y_one_hot

print(grad_softmax_crossentropy(a, y))

# Finite difference approach to compute grad_softmax_crossentropy()
eps = 1e-5
print((softmax_crossentropy(a+eps,y)-softmax_crossentropy(a,y))/eps)

Что я не так сделал?

1 Ответ

0 голосов
/ 12 июня 2018

Вот как ты мог это сделать.Я думаю, что вы имеете в виду градиент по активациям, указанным матрицей индикатора у.

Сначала я создаю a как float для изменения отдельных элементов. 

a = np.random.randint(1,100,(batch_size,classes)).astype("float")

Затем, 

np.diag(grad_softmax_crossentropy(a, y)[:, y.flatten()])

array([ -1.00000000e+00,  -1.00000000e+00,  -4.28339542e-04])

Но также 

b = a.copy()
for i, o in zip(y.max(axis=1), range(y.shape[0])):
    b[o, i] += eps

(softmax_crossentropy(b,y)-softmax_crossentropy(a,y))/eps
[ -1.00000000e+00  -1.00000000e+00  -4.28125536e-04]

Таким образом, в основном вы должны изменить a_i в softmax, а не полностью a.

...