Как получить / распечатать значение регуляризации потери / l2 потери / веса от оптимизатора в pytorch?

Question

описывается как заголовок. Я знаю, что потеря регуляризации в pytorch обычно определяется с помощью определения оптимизатора ( weight_decay ): torch.optim.SGD(params, lr=<required parameter>, momentum=0, dampening=0, weight_decay=1e-5, nesterov=False)

как я могу получить значение потери регуляризации, чтобы я мог его распечатать?

Answer 1

Согласно этому ответу , потеря регуляризации никогда не вычисляется явно. Итак, что вам нужно сделать, это рассчитать потери самостоятельно, используя параметры. Что-то вроде

l2_loss = 0
for param in net.parameters() :
    l2_loss += 0.5 * torch.sum(param ** 2)