В Introduction бумаге Объединенная группа и исключительная разреженность для глубоких нейронных сетей , это говорит
Одним из способов получения компактной глубокой сети является
уменьшение избыточности в параметрах модели. В оптимальном
В этом случае веса на каждом слое будут полностью ортогональны
друг к другу, и, таким образом, образуя ортогональную основу
установлен.
Мне просто интересно, что означает the weights are orthogonal и почему он может уменьшить избыточность параметров модели, что приводит к компактной глубокой сети.