Преобразование изображений, полученных с помощью активной ИК-подсветки, в стандартные изображения RGB для генерации вывода с помощью сверточной нейронной сети - PullRequest
0 голосов
/ 09 июля 2019

Я строю и обучаю CNN для бинарной задачи классификации. Я извлек изображения (кадры) из помеченной базы данных видео. База данных утверждает, что видео было записано с помощью ИК-подсветки. Кадры, которые я извлек в виде изображений, содержат информацию о 3 каналах.

Полученный обученный алгоритм (модель CNN) будет развернут на встроенной плате, которая будет принимать видеопотоки со стандартной USB-камеры RGB и работать на уровне кадров по видеопотоку.

Вопрос ЧАСТЬ-1: Теперь поправьте меня, если я ошибаюсь, но я обеспокоен - поскольку мои знания показывают, что распределение данных видео с активной ИК-подсветкой будет отличаться от стандартного RGB-канала, будет ли эта модель работать с одинаковой точностью по сравнению с изображениями RGB , для классификации кадров?

Примечание 1. Хотя видео в базе данных выглядят как «серые» (из-за видимого серого тона видео, возможно, из-за активной ИК-подсветки) по своей природе, при обработке было обнаружено, что они содержат 3 канала информации.

Примечание 2: Разница между значениями информации о 3-канальном канале значительно выше в обычных изображениях RGB по сравнению с изображениями (кадрами), извлеченными из базы данных. Например, в обычном изображении RGB, если вы рассматриваете какой-либо конкретный пиксель, случайным образом значения, соответствующие трем каналам, могут отличаться друг от друга. Это может быть что-то вроде (128, 32, 98) или (34, 209, 173) и т. Д. (Посмотрите на разницу между значениями в трех каналах.) В случае кадров, извлеченных из видео базы данных, которое у меня есть, значения по трем каналам пикселя НЕ меняются так сильно, как в случае обычных RGB-изображений - это что-то вроде (112, 117, 109) или (231, 240, 235) или (32, 34, 30) и т. Д. Я полагаю, это связано с тем, что видео в целом серого цвета, для справки - похоже на черный и белый фильтр, но не совсем черный и белый.

Вопрос ЧАСТЬ-2: Было бы справедливо преобразовать изображения RGB в оттенки серого и дважды продублировать один канал, чтобы сделать его трехканальным изображением?

1 Ответ

0 голосов
/ 09 июля 2019

Часть 1: нейронная сеть будет работать лучше с более контрастными каналами. А тренировка на одном типе изображения будет плохо работать на другом типе.

Часть 2: изображение RGB состоит из трех каналов. Было бы бессмысленно делать каналы равными и терять хорошую информацию.


Скорее всего, ваши ИК-изображения не являются оттенками серого, они упакованы как изображения RGB для просмотра. Поскольку они очень похожи друг на друга, цвета очень ненасыщенные, то есть почти серые.

И, к сожалению, захват трех ИК-каналов бесполезен.

...