Объедините два вида изображения, чтобы усилить вывод модели DL

Question

Я пытался решить эту проблему неделями, но безрезультатно.

Моя проблема:

Модель глубокого обучения имеет следующую информацию:

ВХОД: последовательность изображений

РЕЗУЛЬТАТ: Что происходит на изображении, то есть классифицирует то, что происходит, из последовательности из 10 действий.

У меня есть две камеры, записывающие одну и ту же активность с двух видов, как я могу объединить эти два вида для повышения точности?

Answer 1

Как объединить два представления полностью зависит от вашего понимания проблемы. Позвольте мне привести два разных примера:

CASE I : когда вы просматриваете данные тренировок, вы можете легко определить, какая камера лучше подходит для некоторых данных. например одна камера может захватить все полезное, а другая - нет из-за возможных окклюзий (примечание: я не говорю, что одна камера всегда лучше другой). В этом случае вы можете использовать более позднюю технику слияния, чтобы объединить только две результирующие функции, представляющие последовательности из двух камер.

CASE II : вам трудно сказать, какая камера лучше. Это в основном означает, что вы можете не увидеть повышения производительности после рассмотрения обеих камер, но, возможно, небольшое улучшение.

Наконец, когда вы говорите две камеры, возможно ли вам сделать что-то вроде бинокулярного стереозрения? В этом случае вы можете получить дополнительную информацию о глубине , которая не включена ни в одну отдельную камеру и может быть полезна для задачи распознавания.

Answer 2

Я думаю, что вы должны использовать функции DELF, извлекать функции обоих похожих изображений и комбинировать их.