Нейронная сеть обратного распространения: смещение уходит в бесконечность

Question

Я получил нейронную сеть, которая предназначена для обратного распространения.

Я использовал следующее для обновления веса на скрытом слое

Δwji = η × δj × yi

где δj - это φ '(vj) * ej, где vj = Σi wjiyi, а для выходного слоя и φ' (vj) * сумма (δk * wkj) для предыдущих слоев

Однако один изуклон для скрытых юнитов всегда уходит в бесконечность.Что это значит?

РЕДАКТИРОВАТЬ:

Значения, идущие в бесконечность, оказываются входным значением vj некоторых нейронов.Итак, смысл этого в том, что мой NN только подтверждает тот факт, что определенный нейрон должен всегда срабатывать?

Может ли это означать, что у меня нет множества примеров для этих конкретных входных данных при обучении?

Answer 1

После проб и ошибок выяснилось, что проблема нехватки нейронов на скрытом слое. Я начал видеть результаты после добавления нейронов, равных половине входных данных. Несмотря на то, что нет идеальной формулы для идеального числа нейронов. Это варьируется для каждой проблемы

Answer 2

Конвергенция в обучении обратного распространения не гарантируется для каждой проблемы и в любых условиях. Например, алгоритм может расходиться, если существует какое-то направление в весовом пространстве , которое бесконечно уменьшается.

Вы можете попытаться уменьшить скорость обучения η (часто, если это значение слишком велико, ИНС будет полностью расходиться), либо изменить кодировку задачи или увеличить разновидность обучающего набора.