Я пытаюсь создать сеть в кератах, которая получает двойной ввод из двух разных типов данных: изображения и данные траектории.например, данные камеры, установленные на автомобиле + скорость / положение / и т. д.данные в форме траектории.
Можно ли объединить эти два типа данных в сети, создать значимый вектор признаков и затем иметь возможность извлекать данные прогнозирования / восстановления?
Я создал диаграмму, чтобы лучше проиллюстрировать мой вопрос ![network diagram](https://i.stack.imgur.com/CdHrI.png)
У меня также есть простой пример кода для процесса объединения, который я хотел бы использовать, я не уверен насчетчто делать дальше, чтобы выполнить этап прогнозирования / реконструкции:
# first input model
visible1 = Input(shape=(64,64,1))
conv11 = Conv2D(32, kernel_size=4, activation='relu')(visible1)
pool11 = MaxPooling2D(pool_size=(2, 2))(conv11)
conv12 = Conv2D(16, kernel_size=4, activation='relu')(pool11)
pool12 = MaxPooling2D(pool_size=(2, 2))(conv12)
flat1 = Flatten()(pool12)
# second input model
visible2 = Input(shape=(100, 1))
extract1 = LSTM(10)(visible2)
# merge
merge = concatenate([flat1, extract1])
Возможно ли это вообще или я должен пытаться каким-то образом предварительно обработать свои данные или обучить отдельные сети?
Я делаю это, потому что чувствую, что оба источника данных имеют важные функции, отсутствующие в другом источнике, и их можно использовать для формирования более точных прогнозов.