TypeError: аргумент mul () 'other' (позиция 1) должен быть Tensor, а не ReLU

Question

Я хотел бы добавить слой torch.nn.ReLU() между слоями fc1 и fc2.

Оригинальный код:

модель:

# ...
self.fc1 = nn.Linear(4096, 256)
self.fc2 = nn.Linear(256, 4096)
# ...

def forward(...):
    # ...
    x = x.view(-1, 4096)
    x = self.fc1(x))
    if a7 is not None:
        x = x * a7.squeeze()
    # ...

Я попытался

# ...
x = x.view(-1, 4096)
x = nn.ReLU(self.fc1(x)))
if a7 is not None:
    x = x * a7.squeeze()
# ...

, и эта ошибка появляется.

Answer 1

В моем ответе предполагается, что __init__ была опечаткой, и она должна быть forward.Дайте мне знать, если это не так, и я удалю его.

import torch
from torch import nn

class SimpleModel(nn.Module):
  def __init__(self, with_relu=False):
    super(SimpleModel, self).__init__()
    self.fc1 = nn.Sequential(nn.Linear(3, 10), nn.ReLU(inplace=True)) if with_relu else nn.Linear(3, 10)
    self.fc2 = nn.Linear(10, 3)

  def forward(self, x):
    x = self.fc1(x)
    print(torch.min(x))  # just to show you ReLU is working...
    return self.fc2(x)

# Model without ReLU
net_without_relu = SimpleModel(with_relu=False)
print(net_without_relu)

# Model with ReLU
net_with_relu = SimpleModel(with_relu=True)
print(net_with_relu)

# random input data
x = torch.randn((5, 3))
print(x)

# we expect it to print something < 0
output1 = net_without_relu(x)

# we expect it to print 0.
output2 = net_with_relu(x)

Вы можете проверить код ниже, работающий на Colab: https://colab.research.google.com/drive/1W3Dh4_KPd3iABx5FSzZm3tilm6tnJh0v

---

Для использованиякак вы пытались:

x = nn.ReLU(self.fc1(x)))

вы можете использовать функциональный API:

from torch.nn import functional as F

# ...
x = F.relu(self.fc1(x)))

Answer 2

Вы не должны делать какие-либо методы просмотра в __init__.Init должен содержать вашу структуру.Например, это скопировано из AlexNet __init__

nn.Linear(4096, 4096),
nn.ReLU(inplace=True),
nn.Linear(4096, num_classes),

Однако ваш прямой метод может содержать изменение формы, вычисления, функции.

---

nn.Sequential должен быть частью __init__ как в AlexNet:

class AlexNet(nn.Module):

    def __init__(self, num_classes=1000):
        super(AlexNet, self).__init__()
        self.features = nn.Sequential(
            nn.Conv2d(3, 64, kernel_size=11, stride=4, padding=2),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),
            nn.Conv2d(64, 192, kernel_size=5, padding=2),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),
            nn.Conv2d(192, 384, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(384, 256, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(256, 256, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),
        )
        self.classifier = nn.Sequential(
            nn.Dropout(),
            nn.Linear(256 * 6 * 6, 4096),
            nn.ReLU(inplace=True),
            nn.Dropout(),
            nn.Linear(4096, 4096),
            nn.ReLU(inplace=True),
            nn.Linear(4096, num_classes),
        )

    def forward(self, x):
        x = self.features(x)
        x = x.view(x.size(0), 256 * 6 * 6)
        x = self.classifier(x)
        return x

И затем вы можете использовать атрибуты класса self.features, self.classifier вперед.

_{Примечание: это старыймодель AlexNet от PyTorch 0.4 но она довольно простая и логика та же}