Как я могу преобразовать код Pytorch 3D CNN в Керас

Question

У меня есть сеть 3D CNN в pytorch, которую я пытался преобразовать в керас, но я не совсем уверен насчет преобразования. Кроме того, когда я запускаю код keras, у меня появляется эта ошибка:

ValueError: Отрицательный размерный размер, вызванный вычитанием 3 из 2 для 'conv3d_13 / convolution' (op: 'Conv3D) с входными фигурами [ ?, 10,2,2,512], [3,3,3,512,512]

Код Pytorch:

class semi_C3D(nn.Module):


    def __init__(self, num_classes = 101):
        super(semi_C3D, self).__init__()

        self.features = nn.Sequential(
            nn.Conv3d(3, 64, kernel_size=(1,3,3), padding=(0,1,1)),
            nn.ReLU(inplace=True),
            nn.Conv3d(64, 64, kernel_size=(1,3,3), padding=(0,1,1)),
            nn.ReLU(inplace=True),
            nn.MaxPool3d(kernel_size=(1,2,2), stride=(1,2,2)),

            nn.Conv3d(64, 128, kernel_size=(1,3,3), padding=(0,1,1)),
            nn.ReLU(inplace=True),
            nn.Conv3d(128, 128, kernel_size=(1,3,3), padding=(0,1,1)),
            nn.ReLU(inplace=True),
            nn.MaxPool3d(kernel_size=(1,2,2), stride=(1,2,2)),

            nn.Conv3d(128, 256, kernel_size=(1,3,3), padding=(0,1,1)),
            nn.ReLU(inplace=True),
            nn.Conv3d(256, 256, kernel_size=(1,3,3), padding=(0,1,1)),
            nn.ReLU(inplace=True),
            nn.Conv3d(256, 256, kernel_size=(1,3,3), padding=(0,1,1)),
            nn.ReLU(inplace=True),
            nn.MaxPool3d(kernel_size=(1,2,2), stride=(1,2,2)),

            nn.Conv3d(256, 512, kernel_size=(1,3,3), padding=(0,1,1)),
            nn.ReLU(inplace=True),
            nn.Conv3d(512, 512, kernel_size=(1,3,3), padding=(0,1,1)),
            nn.ReLU(inplace=True),
            nn.MaxPool3d(kernel_size=(1,2,2), stride=(1,2,2)),

        )


        self.conv3d = nn.Sequential(
            nn.Conv3d(512, 512, kernel_size=(3,1,1), padding=(1,0,0)),
            nn.ReLU(inplace=True),
            nn.MaxPool3d(kernel_size=(3,1,1), stride=(2,1,1), padding=(1,0,0)),

            nn.Conv3d(512, 512, kernel_size=(3,3,3), padding=(1,1,1)),
            nn.ReLU(),
            nn.Conv3d(512, 512, kernel_size=(3,3,3), padding=(1,1,1)),
            nn.ReLU(),
            nn.MaxPool3d(kernel_size=(2,2,2), stride=(2,2,2)),

            nn.Conv3d(512, 512, kernel_size=(3,3,3), padding=(1,1,1)),
            nn.ReLU(),
            nn.MaxPool3d(kernel_size=(2, 2, 2), stride=(2, 2, 2)),

        )


        self.st_classifier = nn.Sequential(
            nn.Linear(9216, 4096), 
            nn.ReLU(),
            nn.Dropout(p=0.5),
            nn.Linear(4096, 4096), 
            nn.ReLU(),
            nn.Dropout(p=0.5),
            nn.Linear(4096, num_classes),
        )

    def forward(self, input):

        x = self.features(input)
        x = self.conv3d(x)

        x = x.view(-1, 9216)
        x = self.st_classifier(x)
        return x

Код Keras:

def semi_3d(self):

        model = Sequential()
    #First bloc of layers (self.features = nn.Sequential part for the pytorch code)
        model.add(Conv3D(64,kernel_size=(1, 3, 3),activation='relu',
                 input_shape=self.input_shape))
        model.add(ZeroPadding3D(padding=(0, 1, 1)))
        model.add(Conv3D(64,kernel_size=(1, 3, 3),activation='relu',))
        model.add(ZeroPadding3D(padding=(0, 1, 1)))
        model.add(MaxPooling3D(pool_size=(1, 2, 2), strides=(1,2,2)))

        model.add(Conv3D(128,kernel_size=(1, 3, 3),activation='relu'))
        model.add(ZeroPadding3D(padding=(0, 1, 1)))
        model.add(Conv3D(128,kernel_size=(1, 3, 3),activation='relu'))
        model.add(ZeroPadding3D(padding=(0, 1, 1)))
        model.add(MaxPooling3D(pool_size=(1, 2, 2), strides=(1,2,2)))

        model.add(Conv3D(256,kernel_size=(1, 3, 3),activation='relu'))
        model.add(ZeroPadding3D(padding=(0, 1, 1)))
        model.add(Conv3D(256,kernel_size=(1, 3, 3),activation='relu'))
        model.add(ZeroPadding3D(padding=(0, 1, 1)))
        model.add(Conv3D(256,kernel_size=(1, 3, 3),activation='relu'))
        model.add(ZeroPadding3D(padding=(0, 1, 1)))
        model.add(MaxPooling3D(pool_size=(1, 2, 2), strides=(1,2,2)))

        model.add(Conv3D(512,kernel_size=(1, 3, 3),activation='relu'))
        model.add(ZeroPadding3D(padding=(0, 1, 1)))
        model.add(Conv3D(512,kernel_size=(1, 3, 3),activation='relu'))
        model.add(ZeroPadding3D(padding=(0, 1, 1)))
        model.add(MaxPooling3D(pool_size=(1, 2, 2), strides=(1,2,2)))

    #Second bloc of layers (self.conv3d = nn.Sequential part for the pytorch code)
        model.add(Conv3D(512,kernel_size=(3, 1, 1),activation='relu'))
        model.add(ZeroPadding3D(padding=(1, 0, 0)))
        model.add(MaxPooling3D(pool_size=(3, 1, 1), strides=(2, 1, 1)))
        model.add(ZeroPadding3D(padding=(1, 0, 0)))

        model.add(Conv3D(512,kernel_size=(3, 3, 3),activation='relu'))
        model.add(ZeroPadding3D(padding=(1, 1, 1)))
        model.add(Conv3D(512,kernel_size=(3, 3, 3),activation='relu'))
        model.add(ZeroPadding3D(padding=(1, 1, 1)))
        model.add(MaxPooling3D(pool_size=(2, 2, 2), strides=(2, 2, 2)))

        model.add(Conv3D(512,kernel_size=(3, 3, 3),activation='relu'))
        model.add(ZeroPadding3D(padding=(1, 1, 1)))
        model.add(MaxPooling3D(pool_size=(2, 2, 2), strides=(2, 2, 2)))

    #FC Layers
        model.add(Dense(4096, activation='softmax', name='fc1'))
        model.add(Dropout(0.5))
        model.add(Dense(4096, activation='softmax', name='fc2'))
        model.add(Dropout(0.5))
        model.add(Dense(self.nb_classes, activation='softmax', name='fc3'))
        return model

Answer 1

вы можете попробовать это, используя onnx согласно do c. ONNX - это открытый формат, созданный для представления моделей машинного обучения. ONNX определяет общий набор операторов - строительные блоки моделей машинного обучения и глубокого обучения - и общий формат файлов, позволяющий разработчикам ИИ использовать модели с различными платформами, инструментами, средами исполнения и компиляторами. "

Исходный код находится здесь Открытый стандарт для взаимодействия машинного обучения Вы будет делать это, как показано ниже;

import onnx
from keras.models import load_model

pytorch_model = '/path/to/pytorch/model'
keras_output = '/path/to/converted/keras/model.hdf5'
onnx.convert(pytorch_model, keras_output)
model = load_model(keras_output)
preds = model.predict(x)