мультиклассовая сегментация на уровне пикселей, проблемы с обучением всех изображений с нулевым разрешением

Question

Я пытаюсь реализовать мультиклассовую модель сегментации semanti c с 5 различными классами. некоторые изображения имеют все 5 классовых наземных масок правды, некоторые нет. Например, изображение ниже имеет все 5 различных классов правдоподобных масок. введите описание изображения здесь

Мой вопрос таков: что если бы у меня было это изображение, как показано ниже, для обучения, но у меня нет классов по изображению. Должен ли я все еще тренировать это изображение с 5 каналами, заполненными всеми нулями? Эффективно ли она обучает модель, уменьшая количество ложных срабатываний? введите описание изображения здесь

Заранее спасибо!

Answer 1

Ваша интуиция хороша.

Вполне вероятно, что ваша модель уменьшит ложные срабатывания, если вы будете тренироваться со всеми своими данными; в то же время это может также увеличить количество ложных негативов, так как он будет менее уверен в отношении важного класса, который вы хотите предсказать в ваших КТ-сканировании.

Чтобы проверить свои предположения, вы должны тренироваться одна и та же нейронная сеть с двумя разными наборами данных:

1. Один со всеми данными. Здесь дисбаланс будет намного больше. В конце концов, каждая проблема медицинской сегментации по определению является крайне несбалансированной, тем более, если у вас есть маски без обозначенных классов интересов. В вашем случае он еще более несбалансирован: в зависимости от характера вашей проблемы, может быть дисбаланс даже между вашими 5 классами вместе с фоном / интересующими вас классами.
2. Один с данными, где помечены маски с классом, который вы пытаетесь предсказать.

Затем протестируйте эти модели на своем тестовом наборе и посмотрите, какая из них лучше с FP / FN.