Как посмотреть потерю weight_decay в pytoch во время тренировки?

Question

optimizer = optim.Adam(model.parameters(), lr=args.lr, weight_decay=1.0)
optimizer.zero_grad()
loss.backward()
optimizer.step()

Я тренирую модель с оптимизатором Адама в pytorch и устанавливаю для параметра weight_decay значение 1.0.
Если я хочу сравнить число потерь weight_decay и потерь модели, как просмотреть значение потеривызвано weight_decay?

Answer 1

Вы знакомы с регуляризацией L2? Если нет, вы можете изучить это. Я нахожу этот учебник очень полезным.

Существует тонкая разница между регуляризацией L2 и снижением веса, а именно:

Уменьшение веса обычно определяется кактермин, который добавляется непосредственно к правилу обновления. С другой стороны, термин регуляризации L2 добавляется к функции потерь.

Этот учебник может оказаться полезным для изучения различий между снижением веса и регуляризацией L2.

[Обновление] Мне очень полезна лекция профессора Эндрю Нга .