Получите значения активации Cell, Input Gate, Output Gate и Forget Gate для сети LSTM, используя Keras - PullRequest
Новая
       7

Получите значения активации Cell, Input Gate, Output Gate и Forget Gate для сети LSTM, используя Keras

0 голосов
/ 17 января 2019

Я хочу получить значения активации для данного входа обученной сети LSTM, в частности, значения для ячейки, входного вентиля, выходного вентиля и шлюза забытия. В соответствии с этим Keras проблема и этот Stackoverflow вопрос Я могу получить некоторые значения активации с помощью следующего кода:

(в основном я пытаюсь классифицировать одномерные временные ряды, используя один ярлык для временных рядов, но это не имеет большого значения для этого общего вопроса) 

import random
from pprint import pprint

import keras.backend as K
import numpy as np
from keras.layers import Dense
from keras.layers.recurrent import LSTM
from keras.models import Sequential
from keras.utils import to_categorical

def getOutputLayer(layerNumber, model, X):
    return K.function([model.layers[0].input],
                      [model.layers[layerNumber].output])([X])

model = Sequential()
model.add(LSTM(10, batch_input_shape=(1, 1, 1), stateful=True))
model.add(Dense(2, activation='softmax'))
model.compile(
    loss='categorical_crossentropy', metrics=['accuracy'], optimizer='adam')

# generate some test data
for i in range(10):
    # generate a random timeseries of 100 numbers
    X = np.random.rand(10)
    X = X.reshape(10, 1, 1)

    # generate a random label for the whole timeseries between 0 and 1
    y = to_categorical([random.randint(0, 1)] * 10, num_classes=2)

    # train the lstm for this one timeseries
    model.fit(X, y, epochs=1, batch_size=1, verbose=0)
    model.reset_states()

# to keep the output simple use only 5 steps for the input of the timeseries
X_test = np.random.rand(5)
X_test = X_test.reshape(5, 1, 1)

# get the activations for the output lstm layer
pprint(getOutputLayer(0, model, X_test))

Используя это, я получаю следующие значения активации для слоя LSTM: 

[array([[-0.04106992, -0.00327154, -0.01524276,  0.0055838 ,  0.00969929,
        -0.01438944,  0.00211149, -0.04286387, -0.01102304,  0.0113989 ],
       [-0.05771339, -0.00425535, -0.02032563,  0.00751972,  0.01377549,
        -0.02027745,  0.00268653, -0.06011265, -0.01602218,  0.01571197],
       [-0.03069103, -0.00267129, -0.01183739,  0.00434298,  0.00710012,
        -0.01082268,  0.00175544, -0.0318702 , -0.00820942,  0.00871707],
       [-0.02062054, -0.00209525, -0.00834482,  0.00310852,  0.0045242 ,
        -0.00741894,  0.00141046, -0.02104726, -0.0056723 ,  0.00611038],
       [-0.05246543, -0.0039417 , -0.01877101,  0.00691551,  0.01250046,
        -0.01839472,  0.00250443, -0.05472757, -0.01437504,  0.01434854]],
      dtype=float32)]

Таким образом, я получаю для каждого входного значения 10 значений, потому что я указал в модели Keras использовать LSTM с 10 нейронами. Но какая из них является ячейкой, которая является входным вентилем, который является выходным вентилем, а какой - гейтом забывания?

...