Интуиция за U-net против FCN для семантической сегментации

Question

Я не совсем понимаю следующее:

В предложенном FCN для семантической сегментации Шелхамером и др. они предлагают межпиксельное прогнозирование для построения масок / точных положений объектов на изображении.

В слегка модифицированном варианте FCN для сегментации биомедицинских изображений, U-net , основное отличие, по-видимому, заключается в "конкатенации с соответственно обрезанной картой признаков из сокращающегося пути".

Теперь, почему эта особенность особенно важна для биомедицинской сегментации? Основные отличия, которые я могу отметить для биомедицинских изображений по сравнению с другими наборами данных, заключаются в том, что в биомедицинских изображениях нет такого богатого набора характеристик, определяющих объект, как для обычных повседневных объектов. Также размер набора данных ограничен. Но вдохновлена ​​ли эта дополнительная особенность этими двумя фактами или какой-то другой причиной?

Answer 1

FCN против U-Net:

СКЛС

1. Это только один раз. то есть он имеет только один слой в декодере
2. Исходная реализация github repo использует билинейную интерполяцию для повышения дискретизации свернутого изображения. То есть здесь нет обучаемого фильтра
3. варианты FCN- [FCN 16s и FCN 8s] добавляют пропускаемые соединения из нижних уровней, чтобы сделать выходной сигнал устойчивым к изменениям масштаба

---

U-Net

1. несколько слоев с повышенной дискретизацией
2. использует пропуск соединений и объединяет вместо сложения
3. использует обучаемые весовые фильтры вместо метода фиксированной интерполяции

Answer 2

U-Net построен на бумаге Дж. Лонга. Пара отличий состоит в том, что оригинальная бумага FCN использовала половину декодера для уточнения классификации (то есть вся вторая половина сети имеет глубину C - количество классов)

U-Net считает, что вторая половина находится в пространстве признаков, и в конце сделайте окончательную классификацию.

Ничего особенного для биомедицинской ИМО