В нейронной сети, если вход> 1 или <-1, следует ли применять функцию активации перед распространением?

Question

Я создаю свой первый ИНС и использую «стандартный» лист данных о цветке ириса.Вот некоторые из входных данных: 1.3, 4.0, 2.8 и т. Д.

Должны ли эти значения быть помещены через функцию активации, чтобы они были <1 и распространялись без этой проблемы? </p>

Заранее

Answer 1

Нормализация устраняет геометрические отклонения в направлении некоторых измерений векторов данных. Таким образом, каждый бит данных обрабатывается «честно». Другой способ сформулировать это - понять, что все алгоритмы обучения зависят от числовых свойств, поэтому следует стараться избегать небольших чисел, больших чисел и больших различий.

Если вы не нормализуете свои входные данные между (0,1) или (-1,1), вы не сможете равномерно распределить важность каждого входного значения, поэтому естественно, что большие значения становятся доминирующими в соответствии с меньшими значениями во время обучения ANN.

Важным является сопоставимость ресурсов. Например, есть два входа для вашего ann, x1 и x2. x1 изменяется от 0 до 0,5, а x2 изменяется от 0 до 1000. Изменение x1 от 0,5 - это изменение на 100 процентов, тогда как изменение x2 на 0,5 - это изменение только на 0,05%. Следовательно нормализация помогает.