Почему моя программа CNN не улучшается в точности после добавления отсева? - PullRequest
Новая
       63

Почему моя программа CNN не улучшается в точности после добавления отсева?

1 голос
/ 20 апреля 2020

Я использую CNN для идентификации изображений в наборе данных CiFar10, и перед добавлением отсева cnn достигал 58% точности, но после добавления он снизился до 52%. Это тот случай, когда сеть не перегружается? потому что я сомневаюсь, что это так. После добавления еще двух выпадений точность возросла до 55%, но я все еще не понимаю, почему она вообще опустилась. Вот мой код: 

class Net(nn.Module):
def __init__(self):
    super(Net, self).__init__()
    self.conv1 = nn.Conv2d(3, 12, 3, padding=1)
    self.pool = nn.MaxPool2d(2, 2)
    self.conv2 = nn.Conv2d(12, 24, 3, padding=1)
    self.conv3 = nn.Conv2d(24, 48, 3, padding=1)
    self.conv4 = nn.Conv2d(48, 48, 3, padding=1)
    self.dropout1 = nn.Dropout(p=0.2)
    self.dropout2 = nn.Dropout(p=0.2)
    self.dropout3 = nn.Dropout(p=0.3)
    self.fc1 = nn.Linear(48 * 2 * 2, 120)
    self.fc2 = nn.Linear(120, 84)
    self.fc3 = nn.Linear(84, 10)


def forward(self, x):
    x = self.pool(self.dropout1(F.relu(self.conv1(x))))
    x = self.pool(self.dropout2(F.relu(self.conv2(x))))
    x = self.pool(self.dropout3(F.relu(self.conv3(x))))
    x = self.pool(F.relu(self.conv4(x)))
    x = x.view(-1, 48 * 2 * 2)
    x = F.relu(self.fc1(x))
    x = F.relu(self.fc2(x))
    x = self.fc3(x)
    return x

1 Ответ

0 голосов
/ 20 апреля 2020

Вы также должны быть осторожны при сравнении прогонов, если вы тренируетесь и инициализируете с нуля. Случайная инициализация веса может иногда приводить к изменению, которое вы видите, особенно если другие гиперпараметры (например, скорость обучения, размер партии и т. Д. c.) Еще не оптимизированы. Даже в этом случае пакетные тасовки могут вызывать изменения. Вы должны установить случайное начальное число и / или сохранить параметры веса при отладке всего этого.

...