Как работает многоуровневое глубокое обучение в Керасе?

Question

У меня есть модель с несколькими входами сверточной нейронной сети, которая вводит 2 изображения из 2 наборов данных, чтобы получить один выход, который является классом двух входов.Два набора данных имеют одинаковые классы.Я использовал 2 модели vgg16 и объединил их для классификации двух изображений.

vgg16_model = keras.applications.vgg16.VGG16()
input_layer1= vgg16_model .input
last_layer1 = vgg16_model.get_layer('fc2').output


vgg16_model2 = keras.applications.vgg16.VGG16()
input_layer2= vgg16_model .input
last_layer2 = vgg16_model.get_layer('fc2').output


con = concatenate([last_layer1, last_layer2])  # merge the outputs of the two models
output_layer = Dense(no_classes, activation='softmax', name='prediction')(con)
multimodal_model1 = Model(inputs=[input_layer1, input_layer2], outputs=[output_layer])

Мои вопросы:

1- Какой случай из следующего представляет, как изображения входят в модель?

Один к одному

database1-img1 + database2-img1

database1-img2 + database2-img2

database1-img3 + database2-img3

database1-img4 + database2-img4

.........

Много ко многим

database1-img1 + database2-img1

database1-img1 + database2-img2

database1-img1 + database2-img3

database1-img1 + database2-img4

database1-img2 + database2-img1

database1-img2 + database2-img2

database1-img2 + database2-img3

database1-img2 + database2-img4

.........

2- Как правило, при глубоком обучении образы, поступающие из двух наборов данных в модель одновременно, имеют один и тот же класс (метки) или нет?

Answer 1

1. Это отображение 1: 1, то же самое должно быть и с несколькими выходами.
   

Если у вас есть модель, такая как Model(inputs=[input_layer1, input_layer2], outputs=[output_layer]) или даже Model(inputs=[input_layer1, input_layer2], outputs=[output_layer1, output_layer2]), вы должны снабдить ее входами / выходами одинаковой формы.
Предположим другой случай - вам нужно будет иметь ds1.shape[0] * ds2.shape[0] различных меток для каждого возможного набора из 2 наборов данных, и вам нужно будет их заказать определенным образом. Это не реально осуществимо, по крайней мере, не просто.

2. Не то, чтобы одни и те же изображения имели одинаковую метку, но Pair обоих изображений имеют одну метку.