Извлечение данных уменьшенного размера из автоэнкодера в pytorch

Question

Я определил мой авто-кодер в pytorch следующим образом:

self.encoder = nn.Sequential(
    nn.Conv2d(input_shape[0], 32, kernel_size=1, stride=1),
    nn.ReLU(),
    nn.Conv2d(32, 64, kernel_size=1, stride=1),
    nn.ReLU(),
    nn.Conv2d(64, 64, kernel_size=1, stride=1),
    nn.ReLU()
)

self.decoder = nn.Sequential(
    nn.Conv2d(64, 64, kernel_size=1, stride=1),
    nn.ReLU(),
    nn.Conv2d(64, 32, kernel_size=1, stride=1),
    nn.ReLU(),
    nn.Conv2d(32, input_shape[0], kernel_size=1, stride=1),
    nn.ReLU(),
    nn.Sigmoid()
)

Мне нужно получить кодировку с уменьшенным размером, которая требует создания нового линейного слоя с размером N, намного меньшим, чем размер изображения, так что яможет извлечь активации.

Если кто-нибудь может помочь мне с подгонкой линейного слоя в части декодера, я был бы признателен (я знаю, как сплющить () данные), но я предполагаю, что мне нужно снова «расстегнуть» егочтобы снова взаимодействовать со слоем Conv2d)

Обновление:

Я пришел к следующему на основе первого ответа (это дает мне 8-мерное узкое место на выходе кодера, котороеотлично работает факел. Размер ([1, 8, 1, 1])).

self.encoder = nn.Sequential(
    nn.Conv2d(input_shape[0], 32, kernel_size=8, stride=4),
    nn.ReLU(),
    nn.Conv2d(32, 64, kernel_size=4, stride=2),
    nn.ReLU(),
    nn.Conv2d(64, 8, kernel_size=3, stride=1),
    nn.ReLU(),
    nn.MaxPool2d(7, stride=1)
)

self.decoder = nn.Sequential(
    nn.ConvTranspose2d(8, 64, kernel_size=3, stride=1),
    nn.ReLU(),
    nn.Conv2d(64, 32, kernel_size=4, stride=2),
    nn.ReLU(),
    nn.Conv2d(32, input_shape[0], kernel_size=8, stride=4),
    nn.ReLU(),
    nn.Sigmoid()
)

Чего я не могу сделать, так это обучить автоэнкодер с

def forward(self, x):
    x = self.encoder(x)
    x = self.decoder(x)
    return x

Декодер дает мнеошибка:

Calculated padded input size per channel: (3 x 3). Kernel size: (4 x 4). Kernel size can't be greater than actual input size

Я хотел бы поблагодарить человека, который предоставил первый ответ.

Answer 1

В части декодера вам нужно увеличить размер, что можно сделать с помощью nn.ConvTranspose2d.Я заметил, что в вашей части с кодировщиком кажется, что вы не уменьшали свои карты возможностей, потому что ваш шаг всегда 1. Вот игрушечный пример.

self.encoder = nn.Sequential(
            nn.Conv2d(32, 16, 3, stride=1, padding=1),  # b, 16, 32, 32
            nn.ReLU(True),
            nn.MaxPool2d(2, stride=2),  # b, 16, 16, 16
            nn.Conv2d(16, 32, 3, stride=1, padding=1),  # b, 32, 16, 16
            nn.ReLU(True),
            nn.MaxPool2d(2, stride=2)  # b, 32, 8, 8
        )
self.decoder = nn.Sequential(
            nn.ConvTranspose2d(32, 16, 3, stride=2,padding=1,output_padding=1),  # b, 16, 16, 16
            nn.ReLU(True),
            nn.ConvTranspose2d(16, 1, 3, stride=2, padding=1, output_padding=1),  # b, 1, 32, 32
            nn.Sigmoid()
        )