Передайте предварительно обученные веса в Pytorch CNN к CNN в Tensorflow - PullRequest
Новая
       18

Передайте предварительно обученные веса в Pytorch CNN к CNN в Tensorflow

1 голос
/ 22 апреля 2020

Я обучил эту сеть в Pytorch для изображений размером 224x224 и 4 классов. 

class CustomConvNet(nn.Module):
    def __init__(self, num_classes):
        super(CustomConvNet, self).__init__()

        self.layer1 = self.conv_module(3, 64)
        self.layer2 = self.conv_module(64, 128)
        self.layer3 = self.conv_module(128, 256)
        self.layer4 = self.conv_module(256, 256)
        self.layer5 = self.conv_module(256, 512)
        self.gap = self.global_avg_pool(512, num_classes)
        #self.linear = nn.Linear(512, num_classes)
        #self.relu = nn.ReLU()
        #self.softmax = nn.Softmax()

    def forward(self, x):
        out = self.layer1(x)
        out = self.layer2(out)
        out = self.layer3(out)
        out = self.layer4(out)
        out = self.layer5(out)
        out = self.gap(out)
        out = out.view(-1, 4)
        #out = self.linear(out)

        return out

    def conv_module(self, in_num, out_num):
        return nn.Sequential(
            nn.Conv2d(in_num, out_num, kernel_size=3, stride=1, padding=1),
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=(2, 2), stride=None))

    def global_avg_pool(self, in_num, out_num):
        return nn.Sequential(
            nn.Conv2d(in_num, out_num, kernel_size=3, stride=1, padding=1),
            #nn.BatchNorm2d(out_num),
            #nn.LeakyReLU(),

            nn.ReLU(),
            nn.Softmax(),
            nn.AdaptiveAvgPool2d((1, 1)))

Я получил веса от первого Conv2D и его размер torch.Size([64, 3, 3, 3])

Я сохранил это как: 

weightsCNN = net.layer1[0].weight.data
np.save('CNNweights.npy', weightsCNN)

Это моя модель, которую я построил в Tensorflow. Я хотел бы передать те веса, которые я сохранил из модели Pytorch, в этот Tensorflow CNN. 

    model = models.Sequential()
    model.add(layers.Conv2D(64, (3, 3), activation='relu', input_shape=(224, 224, 3)))
    model.add(layers.MaxPooling2D((2, 2)))

    model.add(layers.Conv2D(128, (3, 3), activation='relu'))
    model.add(layers.MaxPooling2D((2, 2)))

    model.add(layers.Conv2D(256, (3, 3), activation='relu'))
    model.add(layers.MaxPooling2D((2, 2)))

    model.add(layers.Conv2D(256, (3, 3), activation='relu'))
    model.add(layers.MaxPooling2D((2, 2)))

    model.add(layers.Conv2D(512, (3, 3), activation='relu'))
    model.add(layers.MaxPooling2D((2, 2)))

    model.add(layers.Conv2D(512, (3, 3), activation='relu'))

    model.add(layers.GlobalAveragePooling2D())
    model.add(layers.Dense(4, activation='softmax'))
    print(model.summary())


    adam = optimizers.Adam(learning_rate=0.0001, amsgrad=False)
    model.compile(loss='categorical_crossentropy',
                  optimizer=adam,
                  metrics=['accuracy'])


    nb_train_samples = 6596
    nb_validation_samples = 1290
    epochs = 10
    batch_size = 256


    history = model.fit_generator(
        train_generator,
        steps_per_epoch=np.ceil(nb_train_samples/batch_size),
        epochs=epochs,
        validation_data=validation_generator,
        validation_steps=np.ceil(nb_validation_samples / batch_size)
        )

Как мне на самом деле это сделать? Какую форму весов требует Tensorflow? Спасибо!

1 Ответ

0 голосов
/ 22 апреля 2020

Вы можете проверить формы всех весов всех keras слоев довольно просто: 

for layer in model.layers:
    print([tensor.shape for tensor in layer.get_weights()])

Это даст вам формы всех весов (включая смещения), так что вы можете подготовить загруженные numpy веса соответственно.

Чтобы установить их, сделайте что-то похожее: 

for torch_weight, layer in zip(model.layers, torch_weights):
    layer.set_weights(torch_weight)

, где torch_weights должен быть списком, содержащим списки np.array, которые вы должны будете загрузить.

Обычно каждый элемент torch_weights будет содержать один np.array для весов и один для смещения.

Помните, что формы, полученные из печати, должны быть точно такими же, как те, которые вы введите set_weights.

См. документацию для получения дополнительной информации.

Кстати. Точные формы зависят от слоев и операций, выполняемых моделью, иногда вам может понадобиться транспонировать некоторые массивы, чтобы «подогнать их».

...