Вы, вероятно, имеете дело с несбалансированным набором данных. Ваша сеть может иметь точность 99%, когда структуры, которые вы пытаетесь сегментировать, малы (и занимают, например, 1% изображения). Затем, если ваша сеть прогнозирует только 0 с, вы получите точность 99% (поскольку будет правильно прогнозировать 99% «пустых» пикселей).
Для отслеживания вашей сети следует использовать более информативные метрики производительность, в том числе оценка костей.
Потеря здесь - лучший показатель обучения.
Кроме того, тренировка U- Net для реальных задач с ЦП будет практически невозможна (потребуется недели-месяцы). Вы должны использовать графический процессор для хорошей производительности.