Может ли нейронная сеть с одним входом и одним выходом с y = x как функцией активации отражать нелинейное поведение?

Question

В настоящее время я немного изучаю нейронные сети.Один вопрос, который я не могу обойти, касается того, как нейронные сети отражают нелинейное поведение.Насколько я понимаю, нет возможности отразить нелинейное поведение внутри компактного набора с использованием нейронной сети.

Например, если бы я взял функцию из этого вопроса :

y = x^2

и я бы использовал нейронную сеть с одним входом и одним выходом, и лучшее, что может сделать нейронная сеть для каждого компактного набора [x0 ... xn], - это линейная функция, охватывающая однуконец набора к другому, так как в конце все вычисления внутри сети являются линейными.

Есть ли у меня какое-то недопонимание относительно этой концепции?

Answer 1

Функция активации в нейронных сетях - это именно та часть, которая вносит нелинейность.Если вы используете функцию линейной активации, то вы не можете обучать нелинейную модель (таким образом, подходите для квадратичных или других нелинейных функций).

Часть, которая, я думаю, вас интересует, - это теорема универсальной аппроксимации, которая гласит:что любая непрерывная функция может быть аппроксимирована нейронной сетью с одним скрытым слоем (некоторые предположения относительно функции активации применяются).Примите во внимание, что эта теорема ничего не говорит об оптимизации такой сети (она не гарантирует, что вы можете обучить такую ​​сеть по определенному алгоритму, а только в том, что такая сеть существует).Также ничего не говорится о количестве нейронов, которые вы должны использовать.

Вы можете проверить следующие ссылки, чтобы получить более подробную информацию: Оригинальное доказательство с функцией активации сигмоида: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.441.7873&rep=rep1&type=pdf

Иболее дружественный вывод: http://mcneela.github.io/machine_learning/2017/03/21/Universal-Approximation-Theorem.html

Answer 2

Возможности ИНС моделировать нелинейное поведение возникают из (обычно) нелинейной функции активации.Если функция активации является линейной, то процесс обучения сети является просто еще одним способом создания линейного (или многолинейного) подбора входных и выходных данных.