Оценка сегментации изображения - проблема одного класса

Question

Каков наилучший метод для оценки качества алгоритма сегментации, когда большая часть изображения имеет несколько объектов, принадлежащих к одному и тому же классу.

Например: если бы у меня был алгоритм, который сегментирует книги вэто изображение книжного шкафа - с одной ограничительной рамкой на книгу. Книжный шкаф

Я просматривал различные посты в блоге по оценке сегментации, и большинство, кажется, демонстрируют примеры проблем мультикласса, где довольно очевидно, если прогноз не является точным - ограничивающие рамкиdo / do-not перекрываются для этого класса.

Мои первые мысли о том, что традиционная IoU или тематическая точность не сработают в этом типе проблемы, поскольку выходные данные, содержащие один многоугольник «книга» (полностью сегментированы)), который покрывает все изображение, будет по-прежнему возвращать метрики с высокой оценкой, поскольку почти все изображение фактически является «книжным», однако на самом деле оно очень плохо сегментирует изображение.

Я не уверен, что у меня естьхорошо сформулировал мою проблему, любая помощь будет оценена.

Answer 1

Я бы попытался решить эту проблему, используя следующие решения:

1. Вычислить коэффициенты Dice / IoU класса фона

   • это простое решение для результатов семантической сегментации
   • если алгоритм получит хорошие результаты как в основном, так и в фоновом метриках, вы, по крайней мере, можете сказать, что он работает хорошо

2. Вычисление среднего значения метрик для отдельных сегментированных объектов, экземпляров

   • Ваша проблема выглядит для меня как сегментация экземпляров
   • Вычисление метрик для каждого отдельного объектатогда объект прост - вы можете вычислить коэффициенты кости / жаккарты для каждого объекта отдельно и затем усреднить результаты всех экземпляров, как в этой замечательной статье с дополнительной информацией о метриках сегментации.