Добавление выпадающего слоя с существованием слоя advanced_activations

Question

У меня есть следующая архитектура NN с использованием Keras:

from keras import Sequential
from keras.layers import Dense
import keras

model = Sequential()
model.add(Dense(16, input_dim=32))
model.add(keras.layers.advanced_activations.PReLU())

model.add(Dense(8))
model.add(keras.layers.advanced_activations.PReLU())

model.add(Dense(4))

model.add(Dense(1, activation='sigmoid'))

Интересно, имеет ли смысл добавлять model.add(Dropout(0.5)) до advanced_activations.PReLU() или после него. Другими словами, где находится правильное место для добавления выпадающего слоя при наличии слоя advanced_activations?

Спасибо.

Answer 1

На самом деле не имеет значения, делаете ли вы это до активации или после, так как для большинства активаций f (0) = 0, тогда установка отсева после или до даст тот же результат.