Может ли кто-нибудь помочь мне понять, как именно глубокие нейронные сети могут заменить проектирование функций?
Возраст: Сегодня-Дата рождения Возраст ^ 3 Возраст x макс (1 / Заработная плата, .3) Я вижу, что нейронная сеть легко захватит признак 1, поскольку один из нейронов в конечном итоге построит линейную зависимость Сегодня и Дата рождения передается из входов.
Я не могу понять, как нелинейные отношения, такие как 2 и 3, могут быть поняты сетью, учитывая, что единственные нелинейные отношения, которые она может исследовать, будут определяться выбранной функцией активации для нейронов.
Если моя функция активации является сигмоидной, будет ли она когда-либо создавать переменную Age ^ 3 независимо от того, сколько скрытых слоев я использую? Естественно, он мог бы воспроизвести это, выясняя, «что делать» для высоких значений, низких значений, среднего диапазона и т. Д. c. что потенциально может быть достаточно хорошим приближением. Но достигнет ли он когда-либо в явном виде аналитического представления возраста ^ 3 на любом нейроне?
Для 3 это должно быть еще сложнее, потому что оно включает нелинейные отношения внутри переменных. Если я ограничен нелинейным преобразованием линейной комбинации входов, как может когда-либо быть представлено умножение входов, если входы слоя умножаются только на веса нейронов?