Почему мы используем функцию активации после слоя свертки в Convolution Neural Network?

Question

Я новичок в машинном обучении, и одна из вещей, которые я не понимаю в нейронных сетях Convolution, - вот почему мы выполняем активацию после слоя свертки.

Answer 1

CNN является одной из нейронных сетей. Основная идея нейронной сети заключается в том, что когда у вас достаточно входов, то нейрон запускается на основе вычисления функции активации. Базовая нейронная сеть, известная как Multi позже персептрон (MLP), в которой у вас есть X-мерный вход, который вы передаете на 1-й слой MLP, и процесс переходит к следующему слою, и в конце концов есть один нейрон в конце, где на выходе вычисляется, что может быть классификацией или регрессией, основанной на проблеме.

Аналогичным образом после применения фильтра / ядра к входному изображению. После этого вам нужно применить поэлементную функцию активации, такую ​​как relu или sigmoid, к этому свернутому изображению. Функция активации производит вывод, если у вас достаточно входных данных, которые поступают в качестве входных данных на другие слои.

Answer 2

Потому что свертка, сопровождаемая сверткой, является сверткой. Следовательно, сверточная нейронная сеть произвольной глубины без вмешательства в некорпоративные слои некоторого вида (такие как релейный слой) в основном эквивалентна сверточной нейронной сети только с одним слоем. Это потому, что составление линейных преобразований является линейным:

y = m1*(m2*x + b2) + b1
  = m1 * m2 * x + m1 * b2 + b1

Что такое просто линейная функция ... Зачем учить два, если вы можете выучить только один, и он точно такой же? Эта логика применима даже к локально линейным функциям (свертки локально линейны). Таким образом, для сверточных NN (но также и для ванильных NN) мы должны делать что-то нелинейное между линейными слоями. Одна невероятно простая нелинейная функция - это relu , которая является основным "изгибом".