Сверточная нейронная сеть для нескольких изображений, которые представляют один экземпляр

Question

У меня есть задача классификации, где я пытаюсь определить, скажем, является ли «приложение» успешным или неудачным на основе изображений документа. Вместо того, чтобы классифицировать одно изображение, одно приложение может иметь один или несколько документов. Данные выглядят примерно так:

 Application_1          (PASS)
     - document1.jpg
     - document2.png
 Application_2          (PASS)
     - document1.jpg
 Application_3          (FAIL)
     - document1.jpg
     - document2.jpg
     - document3.jpg
     - document4.jpg

Каждое приложение имеет метку «годен / не годен» на основе содержимого документа, например, паспорт может пройти сам по себе, лицензия + рекомендательное письмо может пройти, но сама лицензия не может пройти.

У меня есть классификатор на основе текста из документов, но содержание изображения важно. Можно ли обучить CNN, где вводом является произвольное количество изображений, а не одно?

Answer 1

Почему бы просто не обрабатывать изображения по 1 (в пакете), записывать их оценки, а затем усреднять (или любой другой алгоритм, который вам подходит) их, чтобы получить окончательную оценку документа?

Это потребует меньше / ни одного изменения модели и почти никакого нового обучения.

Answer 2

Конечно.Одна возможность - просто объединить файлы изображений в один.Другой способ - адаптировать входной слой для приема всех четырех файлов.Вы должны сконфигурировать топологию CNN для обработки различных форм данных, когда их предоставляет входной слой.

Концептуально это мало отличается от написания входного слоя CNN для обработки одного изображения, но разных размеров.