Какова связь между сегментированием экземпляров и семантической сегментацией с точки зрения нейронных сетей?

Question

Мне понятны задачи сегментации экземпляров и семантической сегментации. Однако, с точки зрения нейронных сетей, какова связь между ними? А именно, возможно ли реализовать сегментацию экземпляров путем улучшения или модификации нейронной сети для семантической сегментации, например DeepLab? Если да, какие операции обычно используются? Большое спасибо.

Answer 1

Предположим, что вы хотите знать, где существует требуемый класс в изображении, а затем сделать nn, чтобы для каждого пикселя предсказать вероятность, где находится этот класс - это семантическая сегментация. И когда вы хотите знать, где существуют каждый экземпляр для нужного класса, это сегментация экземпляра. картинка, например,