Как установить значения для слоев в Pytorch nn.module? - PullRequest
Новая
       94

Как установить значения для слоев в Pytorch nn.module?

2 голосов
/ 21 апреля 2020

У меня есть модель, которую я пытаюсь заставить работать. Я работаю над ошибками, но теперь я думаю, что это сводится к значениям в моих слоях. Я получаю эту ошибку: 

RuntimeError: Given groups=1, weight of size 24 1 3 3, expected input[512, 50, 50, 3] to have 1 channels, 
but got 50 channels instead

Мои параметры: 

LR = 5e-2
N_EPOCHS = 30
BATCH_SIZE = 512
DROPOUT = 0.5

Моя информация об изображении: 

depth=24
channels=3
original height = 1600
original width = 1200
resized to 50x50

Это размер моих данных: 

Train shape (743, 50, 50, 3) (743, 7)
Test shape (186, 50, 50, 3) (186, 7)
Train pixels 0 255 188.12228712427097 61.49539262385051
Test pixels 0 255 189.35559211469533 60.688278787628775

Я посмотрел здесь, чтобы попытаться понять, какие значения ожидает каждый слой, но когда я добавляю то, что здесь написано, https://towardsdatascience.com/pytorch-layer-dimensions-what-sizes-should-they-be-and-why-4265a41e01fd, это дает мне ошибки о неправильных каналах и Ядра.

Я нашел torch_summary, чтобы дать мне больше понимания о выходных данных, но это только ставит больше вопросов.

Это мой код torch_summary: 

from torchvision import models
from torchsummary import summary
import torch
import torch.nn as nn

class CNN(nn.Module):
    def __init__(self):
        super(CNN, self).__init__()
        self.conv1 = nn.Conv2d(1,24, kernel_size=5)  # output (n_examples, 16, 26, 26)
        self.convnorm1 = nn.BatchNorm2d(24) # channels from prev layer
        self.pool1 = nn.MaxPool2d((2, 2))  # output (n_examples, 16, 13, 13)
        self.conv2 = nn.Conv2d(24,48,kernel_size=5)  # output (n_examples, 32, 11, 11)
        self.convnorm2 = nn.BatchNorm2d(48) # 2*channels?
        self.pool2 = nn.AvgPool2d((2, 2))  # output (n_examples, 32, 5, 5)
        self.linear1 = nn.Linear(400,120)  # input will be flattened to (n_examples, 32 * 5 * 5)
        self.linear1_bn = nn.BatchNorm1d(400) # features?
        self.drop = nn.Dropout(DROPOUT)
        self.linear2 = nn.Linear(400, 10)
        self.act = torch.relu

    def forward(self, x):
        x = self.pool1(self.convnorm1(self.act(self.conv1(x))))
        x = self.pool2(self.convnorm2(self.act(self.conv2(x))))
        x = self.drop(self.linear1_bn(self.act(self.linear1(x.view(len(x), -1)))))
        return self.linear2(x)


device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model=CNN().to(device)
summary(model, (3, 50, 50))

Это то, что он мне дал: 

  File "/usr/local/lib/python3.6/dist-packages/torch/nn/modules/conv.py", line 342, in conv2d_forward
self.padding, self.dilation, self.groups)
RuntimeError: Given groups=1, weight of size 24 1 5 5, expected input[2, 3, 50, 50] to have 1 channels, but got 3 channels instead

Когда я запускаю весь код, и unsqueeze_ (0) мой данные, вот так .... x_train = torch.from_numpy(x_train).unsqueeze_(0) Я получаю эту ошибку: 

 File "/usr/local/lib/python3.6/dist-packages/torch/nn/modules/conv.py", line 342, in conv2d_forward
self.padding, self.dilation, self.groups)
RuntimeError: Expected 4-dimensional input for 4-dimensional weight 24 1 5 5, but got 5-dimensional input of size [1, 743, 50, 50, 3] instead

Я не знаю, как выяснить, как заполнить правильные значения в слоях. Кто-нибудь, пожалуйста, помогите мне найти правильные значения и понять, как это понять? Я знаю, что выход одного слоя должен быть входом другого слоя. Ничто не соответствует тому, что я думал, что знал. Заранее спасибо !!

1 Ответ

1 голос
/ 21 апреля 2020

Кажется, у вас неправильный порядок ввода x оси тензора.
Как вы можете видеть на входе doc Conv2d должно быть (N, C, H, W)

N - размер пакета, C - количество каналов, H - высота входных плоскостей в пикселях и W - ширина в пикселях.

Итак, чтобы сделать это правильно, используйте torch.permute, чтобы поменять ось в прямом проходе. 

...
def forward(self, x):
    x = x.permute(0, 3, 1, 2)
    ...
    ...
    return self.linear2(x)
...

Пример permute: 

t = torch.rand(512, 50, 50, 3)
t.size()
torch.Size([512, 50, 50, 3])

t = t.permute(0, 3, 1, 2)
t.size()
torch.Size([512, 3, 50, 50])
...