Как обучить модель с тремя изображениями в качестве одного входа

Question

Я хочу обучить модели Inceptionv3, где я пытаюсь дать 3 разных вида одного изображения и обучить его.Поэтому я хочу дать три изображения в качестве входных данных в одном канале.

Вариант использования:

Я хочу предсказать тип обуви.В этой проблеме обычно много информации, присутствует другой взгляд, поэтому просто попробуйте этот подход.

Answer 1

Я думаю, что у вас есть разные способы действия:

• Удалите первый слой начала и создайте свой для поддержки измерений 3x3.
• Используйте первые блоки начала для каждого входа,затем объединить их в некотором слое fc (или раньше).Если функции для поиска похожи, вы можете использовать общие параметры.

В первом случае будут объединены все размеры и информация, предоставленная для любого изображения.Второй будет извлекать определенные особенности в каждом изображении.

Answer 2

Самый простой способ - это ввести все 3 изображения отдельно в модель Inceptionv3, а затем выполнить какое-то взвешенное решение для всех 3 выходов вместе.

Лучшим подходом было бы использовать модель Inceptionv3 в качестве 1 из 3 входных ветвей, чем взять слой внедрения каждой ветви (уровень перед последним) и объединить их все с одним полностью связанным слоем классификации (с активацией softmax). 3 ветки можно обучать как для конкретного вида, так и вместе с общими весами (при такой большой модели все будет хорошо работать).

Кстати, для задачи классификации типов обуви я бы предложил использовать более простую модель (Inceptionv3 - это избыточное убийство).