Я разработал собственную функцию потерь для исследований в аспирантуре, которая рассчитывает расстояние между гистограммой потерь и нормальным распределением. Я реализую эту функцию потерь в настройках учебника Tensorflow 2.0 о классификации цветов ириса.
Я проверил значение и тип потери, они такие же, как в учебнике, но grads из моего tape.gradient() равно None.
Это делается в Google Colab с помощью:
TensorFlow version: 2.0.0-beta1
Eager execution: True
Мой блок кода для потерь и градиента:
def loss(model, x, y):
y_ = model(x) # y_.shape is (batch_size, 3)
losses = []
for i in range(y.shape[0]):
loss = loss_object(y_true=y[i], y_pred=y_[i])
losses.append(float(loss))
dis = get_distance_between_samples_and_distribution(losses, if_plot = 0)
return tf.convert_to_tensor(dis, dtype=np.float32)
def grad(model, inputs, targets):
with tf.GradientTape() as tape:
loss_value = loss(model, inputs, targets)
tape.watch(model.trainable_variables)
return loss_value, tape.gradient(loss_value, model.trainable_variables)
loss_value, grads = grad(model, features, labels)
print("loss_value:",loss_value)
print("type(loss_value):", type(loss_value))
print("grads:", grads)
################################################# Output:
loss_value: tf.Tensor(0.21066944, shape=(), dtype=float32)
type(loss_value): <class 'tensorflow.python.framework.ops.EagerTensor'>
grads: [None, None, None, None, None, None]
Код в руководстве:
loss_object = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)
def loss(model, x, y):
y_ = model(x)
return loss_object(y_true=y, y_pred=y_)
def grad(model, inputs, targets):
with tf.GradientTape() as tape:
loss_value = loss(model, inputs, targets)
tape.watch(model.trainable_variables)
return loss_value, tape.gradient(loss_value, model.trainable_variables)
loss_value, grads = grad(model, features, labels)
print("loss_value:",loss_value)
print("type(loss_value):", type(loss_value))
print("grads:", grads)
################################################# Output:
loss_value: tf.Tensor(0.56536925, shape=(), dtype=float32)
type(loss_value): <class 'tensorflow.python.framework.ops.EagerTensor'>
grads: [<tf.Tensor: id=9962, shape=(4, 10), dtype=float32, numpy=
array([[ 0.0000000e+00, 6.5984917e-01, 3.0700830e-01, -7.5234145e-01,
......
Я чувствую, что вычисление моей собственной определенной потери не должно иметь значения, так как тип данных и форма одинаковы, но в случае, если это так, вот моя функция потерь:
def get_distance_between_samples_and_distribution(errors, if_plot = 1, n_bins = 5):
def get_middle(x):
xMid = np.zeros(x.shape[0]//2)
for i in range(xMid.shape[0]):
xMid[i] = 0.5*(x[2*i]+x[2*i+1])
return xMid
bins, edges = np.histogram(errors, n_bins, normed=1)
left,right = edges[:-1],edges[1:]
X = np.array([left,right]).T.flatten()
Y = np.array([bins,bins]).T.flatten()
X_middle = get_middle(X)
Y_middle = get_middle(Y)
distance = []
for i in range(X_middle.shape[0]):
dis = np.abs(scipy.stats.norm.pdf(X_middle[i])- Y_middle[i])
distance.append(dis)
distance2 = np.power(distance, 2)
return sum(distance2)/len(distance2)
Я искал и пытался добавить tape.watch(), проверяя отступ моего возврата, но они не решили эту проблему None. Я буду очень признателен за любые предложения по исправлению этого. Спасибо!
Определение класса tf.GradientTape здесь здесь