U-сеть с предварительно обученными магистралями: где делать пропускаемые соединения?

Question

Я пытаюсь реализовать U-Net с PyTorch, используя предварительно обученные сети на пути кодера.

Оригинальная бумага U-Net обучала сеть с нуля. Существуют ли какие-либо ресурсы или принципы относительно того, где следует размещать пропускаемые соединения, когда вместо этого используется предварительно обученная магистраль?

Я уже нашел несколько примеров (например, в этом репо ), но без какого-либо обоснования для выбора функции.

Answer 1

В оригинальной бумаге U-Net прямо перед использованием слоев Max-Pool для пропущенных соединений.

Логика точно такая же, как и у предварительно обученных магистралей: atДля каждого пространственного разрешения выбирается самый глубокий векторный слой.Спасибо за qubvel на github за указание на это в выпуске .