Слой узкого места упомянутой бумаги состоит из расширения, за которым следует свертка по глубине и проекционный слой, как показано на следующем изображении:
Таким образом, предполагая, что у меня есть вход 56x56x64 и коэффициент расширения t = 2, я сначала применяю свертку 1x1 с ядром 1x1x64, которое должно выводить 128 каналов, это означает, что в этой первой свертке я получу веса 128x1x1x64. Второй уровень - это глубокая свертка с ядром 3x3 на каждом из этих 128 каналов, что приводит к весам 128x3x3. Как и в первом слое, проекционный слой представляет собой свертку 1x1 с ядром 1x1x128 и выходом из 64 каналов, что приводит к весам 64x1x1x128.
Однако, когда я попытался повторить количество весов, они указывают в статье, мой результат был слишком большим. Может кто-нибудь сказать мне, где я делаю ошибку?
Для получения дополнительной информации и контекста, пожалуйста, обратитесь к статье https://arxiv.org/pdf/1801.04381.pdf. Спасибо!