Понимание математики пакетного обучения в нейронных сетях - PullRequest
Новая
       67

Понимание математики пакетного обучения в нейронных сетях

0 голосов
/ 03 апреля 2020

Когда я выполняю пакетное обучение, скажем, например, Мини-пакетный градиентный спуск , как сеть сама передает данные пакета? Чтобы указать c, на каждом шаге (когда в качестве входных данных используется одна партия) принимает ли сеть

1 * целую партию (фиксированное число изображений, т.е. 4D входной тензор) за шаг и обработать один пример (изображение) для вычисления градиентов, которые будут усреднены после итерации пакета или

2) обработки всей партии и вычислить градиенты напрямую?

Простой пример CNN на задании MNIST (с удалением некоторых ненужных кодов): 

import torch
import torch.nn as nn
import torch.utils.data as Data     # Batch training
import torchvision                  # Dataset API
# import matplotlib.pyplot as plt

# Hyper parameters
EPOCH = 1
BATCH_SIZE = 50
LR = 0.001
DOWNLOAD_MNIST = False

# Download dataset
train_data = torchvision.datasets.MNIST(
    root='./mnist',
    train=True,  # False: test data
    transform=torchvision.transforms.ToTensor(),    # value(0,1)
    download=DOWNLOAD_MNIST
)

# Batch data loader
train_loader = Data.DataLoader(
    dataset=train_data,
    batch_size=BATCH_SIZE,
    shuffle=True,
    num_workers=2
)

# Test data
test_data = torchvision.datasets.MNIST(
    root='./mnist',
    train=False
)
test_x = torch.unsqueeze(test_data.data, dim=1).type(
    torch.FloatTensor)[:2000]/255
test_y = test_data.targets[:2000]


# CNN
class CNN(nn.Module):
    def __init__(self):
        super(CNN, self).__init__()
        self.conv1 = nn.Sequential(
            nn.Conv2d(  # (1,28,28)
                in_channels=1,  # Gray
                out_channels=16,    # Silmultaneous filters
                kernel_size=5,
                stride=1,
                # Filled with zeros if stride=1,padding=(kernel_size-1)/2
                padding=2,
            ),    # -> (16,28,28)
            nn.ReLU(),  # -> (16,28,28)
            nn.MaxPool2d(kernel_size=2),    # -> (16,14,14)
        )
        self.conv2 = nn.Sequential(   # (16,14,14)
            nn.Conv2d(16, 32, 5, 1, 2),  # -> (32,14,14)
            nn.ReLU(),  # -> (32,14,14)
            nn.MaxPool2d(2)  # -> (32,7,7)
        )
        self.out = nn.Linear(32*7*7, 10)  # Flattened -> 10 classes

    def forward(self, x):
        x = self.conv1(x)
        x = self.conv2(x)   # (batch,32,7,7)
        x = x.view(x.size(0), -1)   # (batch,32*7*7)
        output = self.out(x)
        return output


if __name__ == '__main__':
    cnn = CNN()
    # print(cnn)
    optimizer = torch.optim.Adam(cnn.parameters(), lr=LR)
    loss_func = nn.CrossEntropyLoss()   # The target is not one-hot
    loss_his = []

    # Training
    for epoch in range(EPOCH):
        for step, (x, y) in enumerate(train_loader):  # Extract tensors
            output = cnn(x)
            loss = loss_func(output, y)
            optimizer.zero_grad()
            loss.backward()
            optimizer.step()
            loss_his.append(loss.data)

Лично я предпочитаю первое описание и думаю, что нейронная сеть не может взять в 2D тензор за один раз. Я прав в этом?

...