здесь есть возможность реализовать средневзвешенное значение между двумя тензорами (выходами модели), где вес может быть изучен автоматически. Я также ввожу ограничение, согласно которому веса должны в сумме равняться 1. Чтобы обеспечить это, мы должны просто применить softmax к нашим весам. В приведенном ниже фиктивном примере я объединяю с этим методом вывод двух полностью связанных ветвей, но вы можете управлять им в любом другом сценарии
здесь настраиваемый уровень:
class WeightedAverage(Layer):
def __init__(self, n_output):
super(WeightedAverage, self).__init__()
self.W = tf.Variable(initial_value=tf.random.uniform(shape=[1,1,n_output], minval=0, maxval=1),
trainable=True) # (1,1,n_inputs)
def call(self, inputs):
# inputs is a list of tensor of shape [(n_batch, n_feat), ..., (n_batch, n_feat)]
# expand last dim of each input passed [(n_batch, n_feat, 1), ..., (n_batch, n_feat, 1)]
inputs = [tf.expand_dims(i, -1) for i in inputs]
inputs = Concatenate(axis=-1)(inputs) # (n_batch, n_feat, n_inputs)
weights = tf.nn.softmax(self.W, axis=-1) # (1,1,n_inputs)
# weights sum up to one on last dim
return tf.reduce_sum(weights*inputs, axis=-1) # (n_batch, n_feat)
здесь полный пример в задаче регрессии:
inp1 = Input((100,))
inp2 = Input((100,))
x1 = Dense(32, activation='relu')(inp1)
x2 = Dense(32, activation='relu')(inp2)
x = [x1,x2]
W_Avg = WeightedAverage(n_output=len(x))(x)
out = Dense(1)(W_Avg)
m = Model([inp1,inp2], out)
m.compile('adam','mse')
n_sample = 1000
X1 = np.random.uniform(0,1, (n_sample,100))
X2 = np.random.uniform(0,1, (n_sample,100))
y = np.random.uniform(0,1, (n_sample,1))
m.fit([X1,X2], y, epochs=10)
в конце, вы также можете визуализировать значение весов следующим образом:
tf.nn.softmax(m.get_weights()[-3]).numpy()
ссылка и другие примеры: https://towardsdatascience.com/neural-networks-ensemble-33f33bea7df3