Эффект выделения изображения - PullRequest
0 голосов
/ 23 января 2020

Я изучаю сегментацию изображения и получил некоторые результаты моделирования.

Интересно, как сгенерировать изображение как прикрепленное. Эта фигура иллюстрируется авторами статьи «Изучение глубоких особенностей из дискриминационной локализации», широко известной концепцией которой является карта активации классов (CAM) (рис. 1 в статье).

Изображения в первом ряду являются входными изображениями, а изображения во второй строке являются выходными изображениями.

Для генерации выходных данных может потребоваться другой вход, изображение маски.

Значение каждого пиксель изображения маски находится в диапазоне от 0 до 1. Пиксель, значение которого в маске равно 1, будет окрашен в красный цвет, а 0 - в синий.

Show the attached image

Я попытался найти метод чтобы сделать это, но я не знаю, какое ключевое слово мне следует использовать.

Я также пытался найти способ вычисления значений выходных изображений, но это также было неоднозначно.

Я думал, что Выходные данные могут быть получены с помощью простой интерполяции. Например, если значение маски равно 1, я думал, что результат может быть средним от оригинала и [255, оригинал, оригинал] (представление RGB).

Можно ли это просто сделать с помощью python? Метод действительно может быть интерполяцией, но я не могу найти точные значения.

Любая ссылка на ключевое слово, чтобы выяснить путь, будет очень благодарна.

1 Ответ

0 голосов
/ 23 января 2020

похоже, что "тепловая карта" просто рисуется с фиксированной прозрачностью поверх фотографии

, чтобы ответить на этот вопрос, я бы:

  1. создала 2d (x,y) карта активации; каждое значение - это уровень «активации» в этом пикселе
  2. , преобразующий его в изображение 3D (x,y,rgb) с помощью карты цветов ; каждое значение превращается в тройку RGB, например, 0 = синий, 1 = красный в вашем примере. Я бы также предложил использовать другую цветовую карту, пример особенно плох в отношении однородности восприятия
  3. использование PIL до blend карта поверх оригинальной

надеюсь, это поможет!

...