Как добавить дополнительный параметр в CNN во время тренировки

Question

Итак, мне нужно обучить сеть, в которой у меня есть изображение, наземная правда и дополнительный параметр, связанный с изображением (текущее состояние изображения).

Есть камера, которая захватывает изображения с разным увеличениемуровень.Для определенного окружения у меня есть четыре изображения с разными уровнями масштабирования (0,25,50,75).Мне нужно обучить сеть таким образом, чтобы по заданному тестовому изображению я мог классифицировать, хочу ли я увеличивать или уменьшать масштаб.

Итак, набор данных, который у меня есть, - это изображение, правда земли (увеличение или увеличение).или нет масштабирования), и текущий уровень масштабирования.

Как добавить текущий уровень масштабирования в моей сети, чтобы сеть работала правильно?

Я планирую использовать VGG илиAlexNet на данный момент, а затем перейти к Inception или ResNet в будущем.

Answer 1

Что вы можете сделать, это создать модель, которая обрабатывает изображение с помощью CNN и затем каким-то образом объединяет другие входные данные для модели.Таким образом, ваша модель должна иметь несколько входных данных: изображение, (увеличение или уменьшение или отсутствие масштабирования), текущий уровень масштабирования.Таким образом, вы передаете изображение в CNN (или несколько слоев CNN), а затем выравниваете карту объектов и добавляете другие входные значения, а затем продолжаете через некоторые другие слои.Или вы увеличиваете изображение в начале (если вам нужно уменьшить, уменьшить масштаб ...), а затем передаете изображение в CNN.Я не знаю, какой фреймворк вы используете, но я знаю, что попробую создать его в Keras с функциональным API.