Keras: два одновременных слоя, где один из них выполняет свертку вывода предыдущего слоя

Question

Я пытаюсь добиться подключения такой модели:

Входное изображение 1 -> Сверточный слой 1

Входное изображение 2 -> Слой, где каждый пиксель входа подключен только к один вес, т.е. соответствие 1: 1 -> Сверточный слой 2

После этого эти два слоя будут следовать структуре стандартного CNN, но у меня возникают трудности при реализации двух одновременных слоев, где один из них являетсяпросто взяв ввод и узнав, как правильно обрабатывать каждый отдельный пиксель, не глядя на соседей.

Второе входное изображение должно следовать примерно так:

Я знаю, что это не стандарт, но есть ли способдобиться этого в Керасе (или Tensorflow)?

Любое руководство будет оценено.

Answer 1

Я думаю, это то, что вы ищете:

https://keras.io/layers/local/

В основном:

Слой LocallyConnected1D работает аналогично слою Conv1D, за исключениемчто веса не являются общими, то есть каждый набор патчей ввода применяется к разному набору фильтров.

В этом случае вы хотели бы использовать этот слой с размером ядра (1,1) назначить только одно значение веса одному пикселю изображения.