Pytorch: значение grad_h_relu.clone () в Backprop

Question

Я изучаю Pytorch, пока я смотрю учебник на их сайте, я не могу понять значение grad_h = grad_h_relu.clone().

h = x.mm(w1)
h_relu = h.clamp(min=0)
y_pred = h_relu.mm(w2)

# Compute and print loss
loss = (y_pred - y).pow(2).sum().item()
print(t, loss)

# Backprop to compute gradients of w1 and w2 with respect to loss
grad_y_pred = 2.0 * (y_pred - y)
grad_w2 = h_relu.t().mm(grad_y_pred)
grad_h_relu = grad_y_pred.mm(w2.t())


grad_h = grad_h_relu.clone() # what is the signifigance of this line?


grad_h[h < 0] = 0
grad_w1 = x.t().mm(grad_h)

# Update weights using gradient descent
w1 -= learning_rate * grad_w1
w2 -= learning_rate * grad_w2

Answer 1

grad_h = grad_h_relu.clone()

Это означает, что вы делаете копию градиента relu таким образом, чтобы он не разделял память с оригиналом grad_h_relu.Затем вы выполняете некоторые операции на нем.Поскольку они хранятся в двух разных местах, изменение значения grad_h с помощью следующей операции не повлияет на grad_h_relu.

grad_h[h < 0] = 0
grad_w1 = x.t().mm(grad_h)

. Это grad_w1 необходимо для обновления параметров вашей сети.,