Как получить активацию Keras?

Question

Я не уверен, как изменить мой код, чтобы получить активации keras. Я видел противоречивые примеры входов K.function () и не уверен, что я получаю выходные данные для каждого уровня наших активаций.

Вот мой код

activity = 'Downstairs'
layer = 1


seg_x = create_segments_and_labels(df[df['ActivityEncoded']==mapping[activity]],TIME_PERIODS,STEP_DISTANCE,LABEL)[0]
get_layer_output = K.function([model_m.layers[0].input],[model_m.layers[layer].output])
layer_output = get_layer_output([seg_x])[0]

try: 
    ax = sns.heatmap(layer_output[0].transpose(),cbar=True,cbar_kws={'label':'Activation'})
except:
    ax = sns.heatmap(layer_output.transpose(),cbar=True,cbar_kws={'label':'Activation','rotate':180})

ax.set_xlabel('Kernel',fontsize=30)
ax.set_yticks(range(0,len(layer_output[0][0])+1,10))
ax.set_yticklabels(range(0,len(layer_output[0][0])+1,10))
ax.set_xticks(range(0,len(layer_output[0])+1,5))
ax.set_xticklabels(range(0,len(layer_output[0])+1,5))
ax.set_ylabel('Filter',fontsize=30)
ax.xaxis.labelpad = 10
ax.set_title('Filter vs. Kernel\n(Layer=' + model_m.layers[layer].name + ')(Activity=' + activity + ')',fontsize=35)

Предложения здесь наПереполнение стека просто сделайте это, как я: Keras, Как получить вывод каждого слоя?

Пример 4 добавляет фазу обучения k в микс, но мой вывод остается прежним. https://www.programcreek.com/python/example/93732/keras.backend.function

Получаю ли я вывод или активации? Документация подразумевает, что мне могут понадобиться Layers.activations, но я не сделал эту работу.

Мой код или код, проходящий в фазе обучения, оба получают эту тепловую карту. https://imgur.com/a/5fI6N0B

Answer 1

Для слоев, определенных, например, как Dense(activation='relu'), layer.outputs получит (relu) активации. Чтобы получить слой предварительной активации , вам нужно установить activation=None (то есть 'linear'), а затем слой Activation. Пример ниже.

from keras.layers import Input, Dense, Activation
from keras.models import Model
import numpy as np
import matplotlib.pyplot as plt
import keras.backend as K

ipt = Input(shape=(8,))
x   = Dense(10, activation=None)(ipt)
x   = Activation('relu')(x)
out = Dense(1, activation='sigmoid')(x)

model = Model(ipt, out)
model.compile('adam', 'binary_crossentropy')

X = np.random.randn(16, 8)
outs1 = get_layer_outputs(model, model.layers[1], X, 1)  # Dense
outs2 = get_layer_outputs(model, model.layers[2], X, 1)  # Activation

plt.hist(np.ndarray.flatten(outs1), bins=200); plt.show()
plt.hist(np.ndarray.flatten(outs2), bins=200); plt.show()

---

---

Используемая функция :

def get_layer_outputs(model, layer, input_data, learning_phase=1):
    layer_fn = K.function([model.input, K.learning_phase()], layer.output)
    return layer_fn([input_data, learning_phase])