Как согласовать изображение и матричный ввод в керасе?

Question

Я хочу создать модель в Керасе, которая получает изображения из каталога с n изображениями и матричного ввода с формой n rows X m features.

Я знаю, как создать генератор из каталога итакже, как ввести матричные данные в модель, но я хотел бы использовать разные сети и затем merge их.

Как я могу убедиться, что n-th image и n-th row подаются втот же шаг?И при использовании пакетов эти координаты также.

Answer 1

Они питаются как один и тот же образец, не волнуйтесь.Keras потребует, чтобы у вас было n в первом измерении для обоих входных тензоров, поэтому ничего не может пойти не так.Убедитесь, что images.shape[0] == matrix.shape[0].Это единственное условие, и оно будет предоставлять параллельные выборки с обоих входов.

imageInput = Input((side1,side2,channels))   
matrixInput = Input((m,))

#use these two inputs in a model here
.....
#merge the two sides somehow

outputTensorFromTheLastLayer = #get this from your last layer in the model

#instantiate the model with 2 inputs
model = Model([imageInput,matrixInput], outputTensorFromTheLastLayer)

Что касается слияния, существует множество возможностей, и вы должны быть творческими.

Обратите внимание наформы тензоров, которые вы пытаетесь объединить, и используйте некоторые из возможных слоев объединения: https://keras.io/layers/merge/