В настоящее время я изучаю нейронную сеть и особенно RNN, и это может звучать как базовый c вопрос, но RNN имеют гораздо больше весов, чем прямая связь, так как же ему это удается? действительно, ячейка LSTM, например, имеет одну полностью подключенную к каждому шлюзу, которая содержит весовые коэффициенты как для входа, так и для предыдущего состояния, тогда как прямая связь имеет только один раз весовые коэффициенты для входа.
делает это узнать, потому что RNN обычно используются для NLP, где может быть много данных? архитектура RNN позволяет использовать меньше нейронов, чем с прямой связью, которая компенсирует? или, может быть, я просто не очень хорошо понял ячейку RNN и LSTM?
РЕДАКТИРОВАТЬ: Я думаю, что я перепутал. вот почему. При обучении прямой связи глубокое нейронное нетворд. Есть момент, когда его трудно тренировать, но связано ли это с количеством весов или количеством слоев, которые он содержит? действительно, когда имеется много уровней, веса ранних уровней могут иметь очень небольшое отклонение в виде ошибок, которые будут распространяться в обратном направлении по всем сетям. Но влияет ли общее количество весов, содержащихся в сетях, на трудности его обучения, независимо от количества слоев? Потому что я сначала подумал, что unserw - да (что объясняет мой вопрос о RNN), но я больше не уверен