Линейный слой активации против слоя активации

Question

Я немного играю с Keras и думаю о том, в чем разница между линейным слоем активации и вообще без слоя активации?Разве это не имеет такое же поведение?Если да, то в чем смысл линейной активации?

Я имею в виду разницу между этими двумя фрагментами кода:

 model.add(Dense(1500))
 model.add(Activation('linear'))
 model.add(Dense(1500))

и

 model.add(Dense(1500))
 model.add(Dense(1500))

Answer 1

Если вы не назначаете в плотном слое, это линейная активация. Это из документации keras .

активация: Используемая функция активации (см. Активации). Если вы ничего не указали, активация не применяется (т. Е. «Линейная» активация: a (x) = x)

Вы можете добавить Activation, только если хотите использовать, кроме 'linear'.

model.add(Dense(1500))
model.add(Activation('relu'))
model.add(Dense(1500))

Answer 2

Вы правы, между вашими фрагментами нет никакой разницы: оба используют линейную активацию.

Функция активации определяет, является ли она нелинейной (например, сигмоидальная функция нелинейной активации):

model.add(Dense(1500))
model.add(Dense(1500, activation='sigmoid'))

7 Общие нелинейные функции активации и как выбрать функцию активации