Пользовательское ограничение ядра в Keras

Question

Я хочу реализовать пользовательское ограничение веса для плотного слоя.

Моя матрица веса имеет форму (588,42). То, что я хочу сделать, это разделить количество строк в наборах по 84 и назначить каждому 84 строкам в матрице одинаковый вес. То же самое для следующего набора из 84, но более высокое значение, чем у первого набора et c

Так что представьте, что все мои наборы из 84 имеют вес с именем h_i, будучи i-м набором в матрице весов , Идея в том, что h_1 <= h_2 <= ... <= h_n. Более того, я хотел бы, чтобы сумма всех h была равна 1. </p>

Спасибо

Answer 1

Я перемасштабирую вес по вашей логике c (я использую TF 2.2)

class custom(tf.keras.constraints.Constraint):

    def __init__(self, length):
        self.length = length

    def __call__(self, W):
        w_shape = W.shape
        rep = w_shape[0]/self.length
        w = (np.arange(1,rep+1)/np.arange(1,rep+1).sum()).astype('float32')
        w = tf.reshape(tf.repeat(tf.constant(w), self.length*w_shape[1]), [w_shape[0],w_shape[1]])

        return w*W

определяю модель

inp = Input(shape=(100))
x = Dense(588)(inp)
out = Dense(42, kernel_constraint=custom(84))(x)

model = Model(inp, out)
model.compile('adam', 'mse')

фиктивный поезд

model.fit(np.random.normal(0,1, (10, 100)), np.random.normal(0,1, (10, 42)), epochs=10)

Я надеюсь, что эта помощь

Answer 2

определить ваши веса:

matrix_shape = (588,42)
rep = matrix_shape[0]/84

w = np.arange(1,rep+1)/np.arange(1,rep+1).sum()
W = np.repeat(w, 84).reshape(-1,1)*np.ones(matrix_shape)

определить фиктивную модель:

inp = Input(shape=(100))
x = Dense(588)(inp)
out = Dense(42)(x)

model = Model(inp, out)
model.compile('adam', 'mse')

установить новые веса внутри модели:

model.layers[-1].set_weights([W, np.zeros(42)])