конкатенация плотных слоев с различными активациями

Question

При объединении выходных данных из двух полностью связанных слоев, имеет ли смысл, если активации в двух плотных слоях различны?

inp1 = Input((10,))
inp2 = Input((8,))
out1 = Dense(32, activation='tanh')(inp1)
out2 = Dense(32, activation='sigmoid')(inp2)
combined = concatenate(out1, out2)

Answer 1

Это может иметь смысл. В вашем случае кажется, что у вас две разные сети в одной модели, так как разные входы ведут к разным выходам и не разделяют слои. В других случаях вы могли бы объединить выходы двух плотных слоев, скажем, с линейной функцией и функцией активации softmax, что привело бы к выходам регрессии и классификации соответственно.