Можно ли объединить входное изображение из CNN с входным траекторием из LSTM для создания объединенного векторного признака? - PullRequest
0 голосов
/ 27 февраля 2019

Я пытаюсь создать сеть в кератах, которая получает двойной ввод из двух разных типов данных: изображения и данные траектории.например, данные камеры, установленные на автомобиле + скорость / положение / и т. д.данные в форме траектории.

Можно ли объединить эти два типа данных в сети, создать значимый вектор признаков и затем иметь возможность извлекать данные прогнозирования / восстановления?

Я создал диаграмму, чтобы лучше проиллюстрировать мой вопрос network diagram

У меня также есть простой пример кода для процесса объединения, который я хотел бы использовать, я не уверен насчетчто делать дальше, чтобы выполнить этап прогнозирования / реконструкции:

# first input model
visible1 = Input(shape=(64,64,1))
conv11 = Conv2D(32, kernel_size=4, activation='relu')(visible1)
pool11 = MaxPooling2D(pool_size=(2, 2))(conv11)
conv12 = Conv2D(16, kernel_size=4, activation='relu')(pool11)
pool12 = MaxPooling2D(pool_size=(2, 2))(conv12)
flat1 = Flatten()(pool12)

# second input model
visible2 = Input(shape=(100, 1))
extract1 = LSTM(10)(visible2)

# merge
merge = concatenate([flat1, extract1])

Возможно ли это вообще или я должен пытаться каким-то образом предварительно обработать свои данные или обучить отдельные сети?

Я делаю это, потому что чувствую, что оба источника данных имеют важные функции, отсутствующие в другом источнике, и их можно использовать для формирования более точных прогнозов.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...