Что это за отображение?

Question

Я знаю об остаточном отображении, предложенном Хе и др. Но недавно я наткнулся на такое сопоставление в архитектуре EfficientNetB0,

Остаточные единицы добавляют предыдущее отображение к обработанному блоку, но здесь они умножаются. Может ли кто-нибудь объяснить значение этой операции и как называется это отображение? Можете ли вы связать несколько статей, в которых это описывается?

Answer 1

Это называется блоком «сжатие и возбуждение» или «SE» (см. Статью Ху и др.). Целью этого блока является взвешивание каналов предыдущего уровня на основе некоторого «глобального» понимания важности каждого канала и зависимостей между каналами. См. Следующий рисунок (из статьи):

и, в деталях, разница между остаточным соединением и соединением «SE» (опять же, рисунок из статьи):

В частности, в отправленном вами grpah кажется, что они используют свертки 1x1 pointwize вместо полностью связанных слоев, но идея аналогичная.