Какое значение я должен установить для `nn.Linear (1024, 256)`, если размеры набора данных [64 x 25088]?

Question

Я получаю сообщение об ошибке в pytorch, что введенный мной размер неверен:

RuntimeError: несоответствие размера, m1: [64 x 25088], м2: [1024 x 256] по адресу /opt/conda/conda-bld/pytorch_1524584710464/work/aten/src/THC/generic/THCTensorMathBlas.cu:249

Если установить nn.Linear равным 64 x 25088, я получу похожая ошибка:

RuntimeError: несоответствие размера, м1: [64 x 25088], м2: [64 x 25088] в / opt / conda / conda-bld / pytorch_1524584710464 / work / aten / src / THC / generic / THCTensorMathBlas.cu: 249

Что происходит?

Этот код генерирует ошибку:

model = models.vgg16(pretrained=True)

# Freeze parameters so we don't backprop through them
for param in model.parameters():
    param.requires_grad = False

model.classifier = nn.Sequential(nn.Linear(64, 25088),
                                 nn.ReLU(),
                                 nn.Dropout(0.2),
                                 nn.Linear(256, 2),
                                 nn.LogSoftmax(dim=1))

criterion = nn.NLLLoss()

# Only train the classifier parameters, feature parameters are frozen
optimizer = optim.Adam(model.classifier.parameters(), lr=0.003)

# Use GPU if it's available
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device);

epochs = 1
steps = 0
running_loss = 0
print_every = 5

with active_session():
    for epoch in range(epochs):
        for inputs, labels in trainloader:
            steps += 1
            # Move input and label tensors to the default device
            inputs, labels = inputs.to(device), labels.to(device)

            optimizer.zero_grad()

            logps = model.forward(inputs)
            loss = criterion(logps, labels)
            loss.backward()
            optimizer.step()

            running_loss += loss.item()

            if steps % print_every == 0:
                test_loss = 0
                accuracy = 0
                model.eval()
                with torch.no_grad():
                    for inputs, labels in testloader:
                        inputs, labels = inputs.to(device), labels.to(device)
                        logps = model.forward(inputs)
                        batch_loss = criterion(logps, labels)

                        test_loss += batch_loss.item()

                        # Calculate accuracy
                        ps = torch.exp(logps)
                        top_p, top_class = ps.topk(1, dim=1)
                        equals = top_class == labels.view(*top_class.shape)
                        accuracy += torch.mean(equals.type(torch.FloatTensor)).item()

                print(f"Epoch {epoch+1}/{epochs}.. "
                      f"Train loss: {running_loss/print_every:.3f}.. "
                      f"Test loss: {test_loss/len(testloader):.3f}.. "
                      f"Test accuracy: {accuracy/len(testloader):.3f}")
                running_loss = 0
                model.train()

Answer 1

В nn.Linear () первый параметр - это размер ввода, второй параметр - это размер вывода. Если размер ваших данных равен 64 x 25088, вам нужно установить nn.Linear (64 * 25088, output_size).

Однако этот слой будет огромным, поэтому вам следует попытаться уменьшить объем данных.