Сочетание случайной инициализации, т.е. в начале, и исчезающих градиентов во время обратного прохода может привести к такому состоянию, что во время прямого прохода некоторые юниты никогда не будут активированы (или мы можем сказать, что некоторые нейроны никогда не сработают). Кроме того, на следующих обратных проходах, вероятно, не будет достаточно больших градиентов, чтобы изменить состояние.