Как создать слой Keras для выполнения 4D сверток (Conv4D)? - PullRequest
Новая
       60

Как создать слой Keras для выполнения 4D сверток (Conv4D)?

1 голос
/ 21 марта 2020

Кажется, что tf.nn.convolution должен быть в состоянии сделать 4D сверток, но мне не удалось создать слой Keras для использования этой функции.

Я пытался использовать Keras Lambda слой, чтобы обернуть функцию tf.nn.convolution, но, может быть, у кого-то есть идея получше?

Я хочу использовать многомерную структуру моих данных, поэтому изменение формы может не отражать природу моего набора данных.

1 Ответ

1 голос
/ 21 марта 2020

Супер крутой вопрос.

Для этого требуется пользовательский слой (с обучаемыми параметрами).
Следующее принимает любое количество измерений, которое вы контролируете с помощью kernel_size. 

class Conv(Layer):
    def __init__(self, filters, kernel_size, padding='VALID', **kwargs):
        self.filters = filters
        self.kernel_size = kernel_size #must be a tuple!!!!
        self.padding=padding

        super(Conv, self).__init__(**kwargs)

    #using channels last!!!
    def build(self, input_shape):
        spatialDims = len(self.kernel_size)
        allDims = len(input_shape)
        assert allDims == spatialDims + 2 #spatial dimensions + batch size + channels

        kernelShape = self.kernel_size + (input_shape[-1], self.filters)
            #(spatial1, spatial2,...., spatialN, input_channels, output_channels)

        biasShape = tuple(1 for _ in range(allDims-1)) + (self.filters,)


        self.kernel = self.add_weight(name='kernel', 
                                      shape=kernelShape
                                      initializer='uniform',
                                      trainable=True)
        self.bias = self.add_weight(name='bias', 
                                    shape = biasShape, 
                                    initializer='zeros',
                                    trainable=True)
        self.built = True

    def call(self, inputs):
        results = tf.nn.convolution(inputs, self.kernel, padding=self.padding)
        return results + self.bias

    def compute_output_shape(self, input_shape)
        sizes = input_shape[1:-1]

        if self.padding='VALID' or self.padding='valid':
            sizes = [s - kSize + 1 for s, kSize in zip(sizes, self.kernel_size)]

        return input_shape[:1] + sizes + (self.filters,)
...