Количество скрытых слоев в модели нейронной сети

Question

Может ли кто-нибудь объяснить мне или указать на некоторые ресурсы, почему (или ситуации), когда более чем один скрытый слой был бы необходим или полезен в нейронной сети?

Answer 1

В основном больше слоев позволяют отображать больше функций. Стандартная книга для курсов искусственного интеллекта «Искусственный интеллект, современный подход» Рассела и Норвигга раскрывает некоторые подробности того, почему несколько слоев имеют значение в главе 20.

Одним важным моментом является то, что с достаточно большим единственным скрытым слоем вы можете представлять каждую непрерывную функцию, но вам понадобится как минимум 2 слоя, чтобы иметь возможность представлять каждую прерывную функцию.

На практике, однако, одного слоя достаточно, по крайней мере, в 99% случаев.

Answer 2

1. Это больше похоже на то, как работает мозг (что, возможно, не обязательно является вычислительным преимуществом, но многие люди исследуют NN, чтобы получить представление о том, как работает разум, а не решать реальные проблемы). *
2. Легче достичь некоторых видов инвариантности, используя больше слоев. Например, классификатор изображений, который работает независимо от того, где на изображении находится объект или размер объекта. см. Bouvrie, J., L. Rosasco и T. Poggio. «Об инвариантности в иерархических моделях». Достижения в области нейронных систем обработки информации (NIPS) 22, 2009.

Answer 3

Каждый уровень эффективно повышает потенциальную «сложность» адаптации экспоненциальным способом (в отличие от мультипликативного способа добавления большего количества узлов к одному слою).