PyTorch - Как получить скорость обучения во время обучения?

Question

Во время обучения я бы хотел узнать значение learning_rate.Что мне делать?

Это мой код, например:

my_optimizer = torch.optim.SGD(my_model.parameters(), 
                               lr=0.001, 
                               momentum=0.99, 
                               weight_decay=2e-3)

Спасибо.

Answer 1

Только для одной группы параметров, как в приведенном вами примере, вы можете использовать эту функцию и вызывать ее во время обучения, чтобы получить текущую скорость обучения:

def get_lr(optimizer):
    for param_group in optimizer.param_groups:
        return param_group['lr']