Почему в слое апсэмплинга U-net нет функции активации?

Question

В U-net , есть функции активации во всех слоях, но, похоже, нет функции активации в слое повышающей дискретизации (что делается с помощью транспонированной свертки). Почему это обеспечивает большую эффективность, чем функция активации?

Насколько я понимаю, функции активации предлагают нелинейность. Таким образом, этот вопрос действительно заключается в том, какая польза от сохранения линейности в транспонированных извилинах, но при сохранении не -линейности на регулярных извилинах. Разве не всегда лучше иметь функцию активации в этих слоях?

Моя единственная другая интуиция состоит в том, что, возможно, они пытаются сохранить повышающую дискретизацию как тесно связанную с обычными морфологическими методами интерполяции.

Answer 1

Я думаю, что ваша интерпретация верна: они просто пытались сохранить процесс, подобный повышающей дискретизации, используемой с классическими интерполяциями, из-за лучшей интерпретируемости архитектуры (хотя все еще допуская гибкость в сети, которая все еще может выучить лучшие веса) для повышения дискретизации). В общем, если вы хотите добавить больше нелинейности, вы можете ввести любую желаемую функцию активации (например, ReLU) после этого уровня, но лично из своего опыта я бы сказал, что производительность не сильно изменится.