Максимальные слои пула имеют вес. интересная работа

Question

На этапе обучения Pytorch «Глубокое обучение с PyTorch: 60-минутный блиц> нейронные сети»

У меня есть вопрос, что означает доза params [1] в сетях?

Причина, по которой я так думаю, заключается в том, что максимальная доза для опроса не имеет значений веса.

, например.

Если вы напишите несколько таких кодов, как 'def init (self): self.conv1 = nn.Conv2d (1, 6, 5)'

это означает, что вход имеет 1 канал, 6 выходных каналов, conv (5,5)

Итак, я понял, что params [0] имеет 6 каналов, 5 на 5 значений матрицы случайного отображения при инициализации.

по той же причине

params [2] имеет такую ​​же форму, но 16-канальную.я тоже это понял.

но params [1], что означает доза?

Может быть, это просто метод представления для максимального опроса.

, но в конце этого урока, в шаге «Обновление весов», он, вероятно, обновляется с помощью приведенного ниже кода.

learning_rate = 0.01
for f in net.parameters():
    f.data.sub_(f.grad.data * learning_rate)

---

это код для построения сети

import torch
import torch.nn as nn
import torch.nn.functional as F


class Net(nn.Module):

    def __init__(self):
        super(Net, self).__init__()
        # 1 input image channel, 6 output channels, 5x5 square convolution
        # kernel
        self.conv1 = nn.Conv2d(1, 6, 5)
        self.conv2 = nn.Conv2d(6, 16, 5)
        # an affine operation: y = Wx + b
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        # Max pooling over a (2, 2) window
        x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
        # If the size is a square you can only specify a single number
        x = F.max_pool2d(F.relu(self.conv2(x)), 2)
        x = x.view(-1, self.num_flat_features(x))
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

    def num_flat_features(self, x):
        size = x.size()[1:]  # all dimensions except the batch dimension
        num_features = 1
        for s in size:
            num_features *= s
        return num_features

---

params = list(net.parameters())
print(params[1])

---

Parameter containing:
tensor([-0.0614, -0.0778,  0.0968, -0.0420,  0.1779, -0.0843],
       requires_grad=True)

---

, пожалуйста, посетите этот учебный сайт по pytorch.https://pytorch.org/tutorials/beginner/blitz/neural_networks_tutorial.html#sphx-glr-beginner-blitz-neural-networks-tutorial-py

---

Резюме

У меня есть один вопрос.

, поэтому максимальный пул слоев имеет четыре веса, которые можно обновлять?

Думаю, у них не должно быть веса, верно?

Я не прав?

Пожалуйста, помогите мне.Я кореец.

Answer 1

Вы ошибаетесь по этому поводу.Это не имеет ничего общего с max_pooling.Как вы можете прочесть в своем «связанном» учебном пособии, является ли «nn.paramter» -Tensor автоматически зарегистрированным в качестве параметра при его назначении модулю.

Что, в основном, в вашем случае означает, что все перечисленное в__init__ - это модуль, и параметру можно присвоить.

Что означают значения внутри параметра, а это параметр, который требуется вашей модели для расчета его шагов.

params[0] -> self.conf1 -> Layer-Input
params[1] -> self.conf1 -> Layer-Output
params[2] -> self.conf2 -> Layer-Input
params[3] -> self.conf2 -> Layer-Output
params[4] -> self.fc1   -> Layer-Input
params[5] -> self.fc1   -> Layer-Output

и так далее, пока не дойдете до параметров [9], который является концом всего списка параметров.

РЕДАКТИРОВАТЬ: забыл о весах Эти значения являются индикаторомчему научилась ваша сетьПоэтому у вас есть возможность изменить эти значения, чтобы настроить свою сеть в соответствии с вашими потребностями.

И если вы спросите, почему тогда по 2 строки для каждого слоя?Что ж, когда вы делаете обратное распространение, вам нужны эти значения, чтобы найти проблемы в ваших слоях.Вот почему он хранится до того, как передается в слой, а затем после возвращения из этого слоя.

надеюсь, теперь все немного яснее.