Модель автоэнкодера либо колеблется, либо не сходится в наборе данных MNIST

Question

Уже запускал код 3 месяца назад с ожидаемыми результатами.Ничего не изменилось.Попытка устранения неполадок с помощью кодов из (нескольких) более ранних версий, в том числе среди самых ранних (которые определенно работали).Проблема сохраняется.

# 4 - Constructing the undercomplete architecture
class autoenc(nn.Module):
    def __init__(self, nodes = 100):
        super(autoenc, self).__init__() # inheritence
        self.full_connection0 = nn.Linear(784, nodes) # encoding weights
        self.full_connection1 = nn.Linear(nodes, 784) # decoding weights
        self.activation = nn.Sigmoid()

    def forward(self, x):
        x = self.activation(self.full_connection0(x)) # input encoding
        x = self.full_connection1(x) # output decoding
        return x



# 5 - Initializing autoencoder, squared L2 norm, and optimization algorithm
model = autoenc().cuda()
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(),
                          lr = 1e-3, weight_decay = 1/2)



# 6 - Training the undercomplete autoencoder model
num_epochs = 500
batch_size = 32
length = int(len(trn_data) / batch_size)

loss_epoch1 = []

for epoch in range(num_epochs):
    train_loss = 0
    score = 0. 


    for num_data in range(length - 2):
        batch_ind = (batch_size * num_data)
        input = Variable(trn_data[batch_ind : batch_ind + batch_size]).cuda()

        # === forward propagation ===
        output = model(input)
        loss = criterion(output, trn_data[batch_ind : batch_ind + batch_size])

        # === backward propagation ===
        loss.backward()

        # === calculating epoch loss ===
        train_loss += np.sqrt(loss.item())
        score += 1. #<- add for average loss error instead of total
        optimizer.step()

    loss_calculated = train_loss/score
    print('epoch: ' + str(epoch + 1) + '   loss: ' + str(loss_calculated))
    loss_epoch1.append(loss_calculated)

При составлении графика потери сейчас она колеблется, колеблется дико (при lr = 1e-3).Принимая во внимание, что 3 месяца назад он неуклонно сходился (при lr = 1e-3).

Невозможно загрузить изображения из-за недавно созданного аккаунта.

Как это выглядит сейчас.

Хотя это когда я снижаю скорость обучения до 1e-5.Когда это в 1e-3, это просто повсюду.

Как это должно выглядеть, и раньше было похоже на lr = 1e-3.

Answer 1

Вы должны сделать optimizer.zero_grad(), прежде чем делать loss.backward(), так как градиенты накапливаются. Скорее всего, это является причиной проблемы.

Общий порядок действий на этапе обучения:

optimizer.zero_grad()
output = model(input)
loss = criterion(output, label)
loss.backward()
optimizer.step()

Кроме того, значение использованного снижения веса (1/2) вызывало проблему.