Как я могу добавить дополнительную информацию к CNN в Керасе?

Question

Я хочу добавить некоторую дополнительную информацию в CNN, например, пол, возраст, вектор ...

Мой CNN имеет в качестве входных матриц, которые представляют голосовые гистограммы с размерами 125x64.Так как они от разных людей, я хотел бы добавить эту информацию в модель.Кроме того, я хотел бы добавить некоторый вектор 125x1, который представляет высоту или энергию голоса (исходя из выделения признаков), но я думаю, что не стоит добавлять его к гистограмме.

 model = Sequential()

 model.add(Conv2D(32, (3, 3), padding='valid', strides=1,
             input_shape=input_shape, activation='relu'))

 model.add(MaxPooling2D(pool_size=(4, 3), strides=(1, 3)))

 model.add(Conv2D(32, (1, 3), padding='valid', strides=1,
      input_shape=input_shape, activation='relu'))

 model.add(MaxPooling2D(pool_size=(1, 3), strides=(1, 3)))

 model.add(Flatten())
 model.add(Dense(512, activation='relu'))
 model.add(Dense(512, activation='relu'))
 model.add(Dropout(0.5))

 model.add(Dense(nb_classes))
 model.add(Activation('softmax'))

 model.compile(loss='categorical_crossentropy',
          optimizer='adadelta',
          metrics=['accuracy'])

Answer 1

Нет смысла добавлять эти данные в гистограмму.В собственной документации Keras есть объяснение того, как использовать несколько входов в модели: https://keras.io/getting-started/functional-api-guide/. Абзац Модели с несколькими входами и несколькими выходами , кажется, то, что вы ищете.