Как расположить разные слои в CNN

Question

Я искал много статей о сверточных нейронных сетях и обнаружил, что есть несколько хороших структур, на которые я могу сослаться.Например, AlexNet, VGG, GoogleNet.

Однако, если я хочу самостоятельно настроить архитектуру CNN, как расположить / упорядочить разные слои?Например, слой свертки, отсев, максимальное объединение ... Есть ли какой-нибудь стандарт?или просто продолжайте пробовать разные комбинации, чтобы получить хороший результат?

Answer 1

По-моему, не существует стандарта, скажем, но комбинаций

1-Как, если вы хотите создать более глубокую сеть, вы можете использовать остаточный блок, чтобы избежать проблемы исчезающего градиента.

2-Стандарт использования свертки 3,3 заключается в том, что он сокращает вычислительные затраты, исключая возможность одновременной свертки 3,3 при достижении 7,7 свертки при меньших затратах

3-Основной причиной отсева является введение регуляризации, что также может быть достигнуто путем нормализации партии, как утверждает автор.

4-Прежде чем что-то улучшать и как улучшать, нужно понять проблему, которую он пытается решить.

Вы можете пройти тематическое исследование, которое преподавали в Стэндфорде. Стандартное тематическое исследование

Видео может помочь вам понять многие из этих комбинаций и то, как они приводят к улучшению модели, и может помочь вам построить вашу сеть.

Answer 2

Как правило, вы хотите поместить слой объединения после сверточного слоя. Кроме того, вы можете думать о выпадении как о параметре, который применяется к слою, а не как к отдельному слою в целом - что вам проще представить.