Я ищу оптимизатор LM или аналогичную оптимизацию второго порядка для pytorch. Для использования внутри модели NN. это код модели:
model = nn.Sequential(OrderedDict([ ('fc1', nn.Linear(D_in, H)),
('Tanh', nn.Tanh()),
('fc2', nn.Linear(H, D_out))]))
loss_fn = torch.nn.MSELoss(reduction='mean') ;
optimizer = torch.optim.AdamW(model.parameters(), lr=iLR, eps=iEPS,weight_decay=iwd)