Ошибка обучения модели PyTorch Linear MINST

Question

Я создаю двоичный классификатор на основе набора данных MINST с помощью PyTorch. Я хочу, чтобы мой классификатор классифицировался только между 0 и 1, однако, когда я его тренирую, ошибка не уменьшается, а потеря становится отрицательной. Вот ошибка и потери на первых нескольких итерациях:

введите описание изображения здесь

Очевидно, я ожидал лучших результатов.

Вот код, который я использую:

# Loading the MNISR data reduced to  the 0/1 examples

from torchvision import datasets, transforms
from torch.utils.data import DataLoader

mnist_train = datasets.MNIST("./data", train=True, download=True, transform=transforms.ToTensor())
mnist_test = datasets.MNIST("./data", train=False, download=True, transform=transforms.ToTensor())

train_idx = mnist_train.train_labels <= 1
try:
    mnist_train.train_data = mnist_train.train_data[train_idx]
except AttributeError:
    mnist_train._train_data = mnist_train.train_data[train_idx]
try:
    mnist_train.train_labels = mnist_train.train_labels[train_idx]
except AttributeError:
    mnist_train._train_labels = mnist_train.train_labels[train_idx]

test_idx = mnist_test.test_labels <= 1
try:
    mnist_test.test_data = mnist_test.test_data[test_idx]
except AttributeError:
    mnist_test._test_data = mnist_test.test_data[test_idx]
try:
    mnist_test.test_labels = mnist_test.test_labels[test_idx]
except AttributeError:
    mnist_test._test_labels = mnist_test.test_labels[test_idx]
        
train_loader = DataLoader(mnist_train, batch_size = 100, shuffle=True)
test_loader = DataLoader(mnist_test, batch_size = 100, shuffle=False)


# Creating a simple linear classifier

import torch
import torch.nn as nn
import torch.optim as optim

# do a single pass over the data
def epoch(loader, model, opt=None):
    total_loss, total_err = 0.,0.
    for X,y in loader:
        yp = model(X.view(X.shape[0], -1))[:,0]
        loss = nn.BCEWithLogitsLoss()(yp, y.float())
        if opt:
            opt.zero_grad()
            loss.backward()
            opt.step()
        
        total_err += ((yp > 0) * (y==0) + (yp < 0) * (y==1)).sum().item()
        total_loss += loss.item() * X.shape[0]
    return total_err / len(loader.dataset), total_loss / len(loader.dataset)


model = nn.Linear(784, 1)
opt = optim.SGD(model.parameters(), lr=1)
print("Train Err", "Train Loss", "Test Err", "Test Loss", sep="\t")
for i in range(10):
    train_err, train_loss = epoch(train_loader, model, opt)
    test_err, test_loss = epoch(test_loader, model)
    print(*("{:.6f}".format(i) for i in (train_err, train_loss, test_err, test_loss)), sep="\t")

Я не знаю, почему моя ошибка не уменьшается ни почему моя потеря становится все более отрицательной. Кто-нибудь заметил ошибку?

Answer 1

Я обнаружил ошибку. Мой первоначальный код для выбора только единиц и нулей из набора данных MNIST не работал. Очевидно, что применение BCELoss к небинарному набору данных приводило к сбою модели.

Answer 2

Поскольку данные mnist состоят из 10 различных выходных данных, измените модель на размер выходных данных на 10

model = nn.Linear(784, 10)

Также измените потерю на перекрестную потерю энтропии и уменьшите скорость обучения до некоторого меньшего значения (0,001) и используйте гораздо более глубокая модель.

Вероятно, вышеуказанные изменения должны решить вашу проблему