Self-Attention GAN в Керасе

Question

В настоящее время я планирую внедрить Self-Attention GAN в керасе.Я собираюсь реализовать следующий способ:

def Attention(X, channels):
    def hw_flatten(x):
        return np.reshape(x, (x.shape[0], -1, x.shape[-1]))

    f = Conv2D(channels//8, kernel_size=1, strides=1, padding='same')(X)  # [bs, h, w, c']
    g = Conv2D(channels//8, kernel_size=1, strides=1, padding='same')(X)  # [bs, h, w, c']
    h = Conv2D(channels, kernel_size=1, strides=1, padding='same')(X)  # [bs, h, w, c]

    # N = h * w
    flatten_g = hw_flatten(g)
    flatten_f = hw_flatten(f)
    s = np.matmul(flatten_g, flatten_f.reshape((flatten_f.shape[0], flatten_f.shape[-1], -1)))  # [bs, N, N]

    beta = softmax(s, axis=-1)  # attention map

    flatten_h = hw_flatten(h)   # [bs, N, C]
    o = np.matmul(beta, flatten_h)  # [bs, N, C]
    gamma = 0

    o = np.reshape(o, X.shape)  # [bs, h, w, C]
    y = gamma * o + X

    return y

Но я понятия не имею, как добавить обучаемую скалярную гамму, как описано в статье: SAGAN

Я также надеюсь, что кто-то может дать некоторые идеи о том, как инициализировать обучаемый скаляр keras.

---

РЕДАКТИРОВАТЬ:

Моя реализация сейчас:

class Attention(Layer):
    def __init__(self, ch, **kwargs):
        super(Attention, self).__init__(**kwargs)
        self.channels = ch
        self.filters_f_g = self.channels // 8
        self.filters_h = self.channels

    def build(self, input_shape):
        kernel_shape_f_g = (1, 1) + (self.channels, self.filters_f_g)
        print(kernel_shape_f_g)
        kernel_shape_h = (1, 1) + (self.channels, self.filters_h)

        # Create a trainable weight variable for this layer:
        self.gamma = self.add_weight(name='gamma', shape=[1], initializer='zeros', trainable=True)
        self.kernel_f = self.add_weight(shape=kernel_shape_f_g,
                                        initializer='glorot_uniform',
                                        name='kernel_f')
        self.kernel_g = self.add_weight(shape=kernel_shape_f_g,
                                        initializer='glorot_uniform',
                                        name='kernel_g')
        self.kernel_h = self.add_weight(shape=kernel_shape_h,
                                        initializer='glorot_uniform',
                                        name='kernel_h')
        self.bias_f = self.add_weight(shape=(self.filters_f_g,),
                                      initializer='zeros',
                                      name='bias_F')
        self.bias_g = self.add_weight(shape=(self.filters_f_g,),
                                      initializer='zeros',
                                      name='bias_g')
        self.bias_h = self.add_weight(shape=(self.filters_h,),
                                      initializer='zeros',
                                      name='bias_h')
        super(Attention, self).build(input_shape)
        # Set input spec.
        self.input_spec = InputSpec(ndim=4,
                                    axes={3: input_shape[-1]})
        self.built = True


    def call(self, x):
        def hw_flatten(x):
            return K.reshape(x, shape=[K.shape(x)[0], K.shape(x)[1]*K.shape(x)[2], K.shape(x)[-1]])

        f = K.conv2d(x,
                     kernel=self.kernel_f,
                     strides=(1, 1), padding='same')  # [bs, h, w, c']
        f = K.bias_add(f, self.bias_f)
        g = K.conv2d(x,
                     kernel=self.kernel_g,
                     strides=(1, 1), padding='same')  # [bs, h, w, c']
        g = K.bias_add(g, self.bias_g)
        h = K.conv2d(x,
                     kernel=self.kernel_h,
                     strides=(1, 1), padding='same')  # [bs, h, w, c]
        h = K.bias_add(h, self.bias_h)

        s = tf.matmul(hw_flatten(g), hw_flatten(f), transpose_b=True)  # # [bs, N, N]

        beta = K.softmax(s, axis=-1)  # attention map

        o = K.batch_dot(beta, hw_flatten(h))  # [bs, N, C]

        o = K.reshape(o, shape=K.shape(x))  # [bs, h, w, C]
        x = self.gamma * o + x

        return x

    def compute_output_shape(self, input_shape):
        return input_shape

Answer 1

Есть несколько проблем с изменениями, которые вы внесли в оригинальный код :

• Вы не можете использовать numpy операции в середине вашего Keras / TFграф.Во-первых, потому что numpy будет пытаться работать напрямую, в то время как тензоры входных данных будут фактически оцениваться / получать свои значения только во время выполнения графика.Во-вторых, потому что Keras / TF не сможет распространяться обратно с помощью операций не-Keras / TF.

  Вместо этого вы должны заменить исходные операции tensorflow их операциями keras или keras.backend (например,tf.matmul() по keras.backend.batch_dot(), tf.nn.doftmax() по keras.backend.softmax() и т. Д.)

• Вы смешиваете Keras Layers(например, Conv2D) и операции Keras (например, np/keras.backend.reshape).Операции Keras должны быть обернуты в слой Lambda для использования вместе с другими.

Поскольку этот пользовательский слой используется в качестве обучаемого параметра (gamma), йопотребуется написать свой собственный слой , например:

from keras import backend as K
from keras.engine.topology import Layer

class AttentionLayer(Layer):

    def __init__(self, output_dim, **kwargs):
        self.output_dim = output_dim
        super(AttentionLayer, self).__init__(**kwargs)

    def build(self, input_shape):
        # Create a trainable weight variable for this layer:
        self.gamma = self.add_weight(name='gamma', shape=[1], initializer='uniform', trainable=True)

        super(AttentionLayer, self).build(input_shape)

    def call(self, x):
        channels = K.int_shape(x)[-1]

        x = activation(x, channels) # use TF implementation, or reimplement with Keras operations
        return x

    def compute_output_shape(self, input_shape):
        return input_shape