Нахождение полного контура на основе частичной информации по значимости - PullRequest
0 голосов
/ 06 мая 2018

Я использую метод глубокого обучения, чтобы найти заметные объекты на изображении. Результат поиска значимости является попиксельной информацией (между 0-1). Исходя из некоторого порога, я получаю область на изображении. Но часто это только частичный объект. Пожалуйста, смотрите изображения ниже:

enter image description here

Вводится изображение слева, во втором столбце первая строка указывает на вывод значимости, а вторая строка - на контуры.

Контуры - это то, что я пробовал. Но понятия не имею, как объединить выпуклость и контуры, чтобы получить объект. На входном изображении я бы искал полноценного мальчика.

Можете ли вы предложить какой-либо метод?

1 Ответ

0 голосов
/ 09 мая 2018

Я думаю, что значимость и «получение объекта», который в литературе называют сегментированием объектов семантически или объектно, являются двумя совершенно разными проблемами, и смешивание их, вероятно, не даст вам хороших результатов.

Если я правильно помню, то значимость очень важна для предсказания того, где на изображении человеческое внимание пойдет первым. Предикторы часто основаны на научных теориях внимания или механизмах внимания мозга или на любом определении «значимости», которое кажется разумным.

Это более простая проблема, чем сегментация объекта. «Объект» - это очень высокий уровень и очень семантическое понятие (что представляет собой объект в вашем примере? Целый мужчина? Его лицо, рубашка, ноги, обувь?). Алгоритмы семантической сегментации пытаются найти точные границы, а детекторы значимости просто дают вам вид тепловой карты. Вот хороший, довольно свежий обзор .

Так что же вам делать?

  • Если вам нужны объекты, избавьтесь от значимости и попробуйте запустить современную сеть сегментации объектов. Все методы в настоящее время основаны на глубоком изучении.

  • Если вы хотите значимые объекты , начните с сегментации и затем оцените найденные объекты в соответствии с их перекрытием с картой значимости.

Не спускайтесь в кроличью нору, чтобы получить объекты из контуров. Не сработает Люди делали это годами, предварительно углубившись в изучение. Как и классификация объектов, это одна из областей компьютерного зрения, где глубокое обучение сделало огромный шаг вперед, хотя я бы даже не посчитал это решенным.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...