Размеры не совпадают в линейном слое PyTorch - PullRequest
Новая
       3

Размеры не совпадают в линейном слое PyTorch

0 голосов
/ 28 июня 2019

После обучающего урока в PyTorch на этой странице: https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html#sphx-glr-beginner-blitz-cifar10-tutorial-py

Это в основном их «Hello World!» версия классификатора изображений.

То, что я пытаюсь сделать, - это вручную кодировать этапы обучения в сети, чтобы убедиться, что я понимаю каждый из них, но в настоящее время я получаю несоответствие размеров в одном из моих линейных слоев, что ставит меня в тупик. Тем более, что (AFAIK) я воссоздаю шаги в учебнике точно.

В любом случае ........

МОЯ СЕТЬ: 

class net(nn.Module):
def __init__(self):
    super(net, self).__init__()
    self.conv1 = nn.Conv2d(3, 6, 5)
    self.pool  = nn.MaxPool2d(2, 2)
    self.conv2 = nn.Conv2d(6, 16, 5)
    self.fc1   = nn.Linear(16*5*5, 120)
    self.fc2   = nn.Linear(120, 84)
    self.fc2   = nn.Linear(84, 10)

def forward(self, x):
    x = self.pool(F.relu(self.conv1(x)))
    x = self.pool(F.relu(self.conv2(x)))
    x = x.view(-1, 16 * 5 * 5)
    x = F.relu(self.fc1(x))
    x = F.relu(self.fc2(x))
    x = self.fc3(x)

    return x

net = net()

Я верю это именно то, что они имеют на своей странице.

Я пытаюсь вычислить следующий шаг без цикла: 

for epoch in range(2):  # loop over the dataset multiple times

  running_loss = 0.0
  for i, data in enumerate(trainloader, 0):
    # get the inputs; data is a list of [inputs, labels]
    inputs, labels = data

    # zero the parameter gradients
    optimizer.zero_grad()

    # forward + backward + optimize
    outputs = net(inputs)
    loss = criterion(outputs, labels)
    loss.backward()
    optimizer.step()

    # print statistics
    running_loss += loss.item()
    if i % 2000 == 1999:    # print every 2000 mini-batches
        print('[%d, %5d] loss: %.3f' %
              (epoch + 1, i + 1, running_loss / 2000))
        running_loss = 0.0

  print('Finished Training')

Что я делаю, так это: 

data = enumerate(trainloader)
inputs, labels = next(data)[1]
outputs = net(inputs)

И последняя строка дает мне следующую трассировку: 

RuntimeError                              Traceback (most recent call last)
<ipython-input-285-d4be5abf5bb1> in <module>
----> 1 outputs = net(inputs)

~\Anaconda\lib\site-packages\torch\nn\modules\module.py in __call__(self, 
*input, **kwargs)
    487             result = self._slow_forward(*input, **kwargs)
    488         else:
--> 489             result = self.forward(*input, **kwargs)
    490         for hook in self._forward_hooks.values():
    491             hook_result = hook(self, input, result)

<ipython-input-282-a6eca2e3e9db> in forward(self, x)
    14         x = x.view(-1, 16 * 5 * 5)
    15         x = F.relu(self.fc1(x))
---> 16         x = F.relu(self.fc2(x))
    17         x = self.fc3(x)

Заканчивается на: 

RuntimeError: size mismatch, m1: [4 x 120], m2: [84 x 10] at 
c:\a\w\1\s\tmp_conda_3.7_110206\conda\conda- 
bld\pytorch_1550401474361\work\aten\src\th\generic/THTensorMath.cpp:940

Я знаю, что это означает, что значения моего измерения не совпадают, и я подозреваю, что это связано с линией x = x.view(-1, 16 * 5 * 5), где я иду от сверточного к линейному слою, но у меня есть два путаницы:

  • Насколько я могу судить, моя сеть в точности совпадает с той, что есть на странице PyTorch
  • Моя ошибка возникает на втором втором линейном слое, а не на первом, а столбцы предыдущего слоя соответствуют строкам текущего, поэтому я нахожу странным, почему эта ошибка происходит.

Ответы [ 2 ]

2 голосов
/ 28 июня 2019

На самом деле, нет self.fc3(x) в __init__(), как вы упомянули в функции forward().Попробуйте запустить свой код, изменив

self.fc2 = nn.Linear(84, 10) в функции __init__() на self.fc3 = nn.Linear(84, 10).

Выше ошибки - причина, по которой вы получаете ошибку.Поскольку вы инициализируете self.fc2 дважды в приведенном выше коде, см. Строки ниже: 

self.fc2   = nn.Linear(120, 84)
self.fc2   = nn.Linear(84, 10)

Здесь первое значение self.fc2 переопределяется более поздним значением.Итак, наконец, он инициализируется линейным слоем с входными каналами 84 и выходными каналами 10. Позже, в прямой функции вы передаете выходные каналы с x = F.relu(self.fc1(x)), то есть 120 в качестве входных каналов на x = F.relu(self.fc2(x)), чтобыло изменено на 84 из-за вышеописанных причин, вы получаете ошибку.

Кроме этого, я не думаю, что с вашим кодом что-то не так.

1 голос
/ 28 июня 2019

Я не знаю, какой размер изображений вы используете, но похоже, что это влияет на размер самой последней карты объектов, а значит, на объем данных, отправляемых в линейную модель.

Попробуйте проверить размер, выполнив это: в вашем forward методе: 

def forward(self, x):
    x = self.pool(F.relu(self.conv1(x)))
    x = self.pool(F.relu(self.conv2(x)))
    print (x.shape)

У тебя будет что-то вроде: torch.Size([32, 16, 4, 4]) Затем вы можете использовать x = x.view(-1, 16 * 4 * 4)

Кроме того, вы можете получить эти значения непосредственно из x.shape[1:].

Надеюсь, это поможет.

...