Являются ли нейронные сети сложными «линейными функциями» со многими параметрами?

Question

Нейронные сети являются сложными ______________ со многими параметрами.
a) Линейные функции;
b) Нелинейные функции;
c) Дискретные функции;
d) Экспоненциальные функции

Ответ: а.Объяснение: Нейронные сети - это сложные линейные функции с множеством параметров.

От: https://www.sanfoundry.com/ai-multiple-choice-questions-answers/

Я не уверен, что NN - это просто "линейные" функции?Нас попросили ответить на этот вопрос в викторине в моем университете.Тем не менее, я думаю, что NN с нелинейными функциями активации не являются линейными.

Answer 1

Вопрос немного некорректен в своем изображении.В то время как вы могли бы сказать, что ядро ​​нейронных сетей - это линейные уравнения в матричном масштабе (или n-мерном масштабе), только нелинейные активации заставляют его учиться чему-то актуальному.

Хотя ваша функция активации может быть activation(x) = k * x + c, и в этом случае ответом могут быть сложные линейные функции.Однако линейная композиция линейной функции всегда будет давать линейную функцию.Но нейронные сети четко изучают нелинейные функции для решения задач машинного обучения.

Таким образом, мы не можем выразить это словами, что они являются линейными функциями.

Answer 2

Приятная вещь о линейных функциях состоит в том, что вы можете комбинировать их заранее, потому что объединение линейных функций дает вам другую линейную функцию (умножение матриц и все такое).

Так что, если бы это было просто линейная функция, вы, по сути, имеете только однослойную сеть.Это нелинейные преобразования между слоями, которые делают слои действительно полезными, и поэтому я бы сказал, что это нелинейные функции.