Ошибка функции потери Pytorch в последнем пакете - PullRequest
Новая
       37

Ошибка функции потери Pytorch в последнем пакете

2 голосов
/ 04 апреля 2019

Предположим, что у меня есть 77 выборок для обучения моего CNN, и мой batch size равен 10. Тогда у последней партии batch size равно 7 вместо 10. Почему-то, когда я передаю ее функции потери, такой как nn.MSELoss() выдает ошибку:

RuntimeError: размер тензора a (10) должен соответствовать размеру тензора б (7) в не синглтонном измерении 1

То есть pytorch не поддерживает пакеты разных размеров?

Мой код под вопросом: 

import numpy as np
import torch
from torch import nn
import torchvision
import torch.nn.functional as F
import torch.optim as optim

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(1, 6, (5,4))
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(64, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, x.shape[1] * x.shape[2] * x.shape[3])
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

model = Net()

batch_size = 10

# Generating Artifical data
x_train = torch.randn((77,1,20,20))
y_train = torch.randint(0,10,size=(77,),dtype=torch.float)

trainset = torch.utils.data.TensorDataset(x_train,y_train)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=batch_size, shuffle=True, num_workers=0)
# testloader = torch.utils.data.DataLoader(testset, batch_size=batch_size, shuffle=False, num_workers=0)

criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9)

for epoch in range(20):  # loop over the dataset multiple times

    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        # get the inputs
        inputs, labels = data
        # zero the parameter gradients
        optimizer.zero_grad()

        # forward + backward + optimize
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        # print statistics
        running_loss += loss.item()
        if i%10==0:
            print('epoch{}, step{}, loss: {}'.format(epoch + 1, i + 1, running_loss))
#             print("frac post = {}".format(frac_post))
            running_loss = 0.0

1 Ответ

2 голосов
/ 04 апреля 2019

Проблема не в размере пакета, а в том, что он не транслируется должным образом между 10 выходами вашего CNN и одной меткой, представленной в каждом примере.Если вы посмотрите на вывод модели и обозначите формы тензора во время пакета, в котором выдается ошибка, 

print(outputs.shape, labels.shape)
#out: torch.Size([7, 10]) torch.Size([7])

, то увидите, что метки хранятся в одноэлементном тензоре.В соответствии с правилами вещания Pytorch , чтобы быть транслируемыми, два тензора должны быть совместимы во всех конечных измерениях.В этом случае конечный размер выходных данных модели (10) несовместим с размером метки (7).

Чтобы исправить, либо добавьте фиктивный размер к метке (предполагая, что вы действительно хотите передатьметки, чтобы соответствовать вашим десяти сетевым выходам), или определить сеть со скалярными выходами.Например: 

y_train = torch.randint(0,10,size=(77,1),dtype=torch.float)

приводит к 

print(outputs.shape, labels.shape)
#out: torch.Size([7, 10]) torch.Size([7,1])
# these are broadcastable
...