tf.keras.layers.RNN против tf.keras.layers.StackedRNNCells: Tensorflow 2 - PullRequest
Новая
       85

tf.keras.layers.RNN против tf.keras.layers.StackedRNNCells: Tensorflow 2

3 голосов
/ 10 марта 2020

Я пытаюсь реализовать многослойную модель RNN в Tensorflow 2.0. Попытки tf.keras.layers.StackedRNNCells и tf.keras.layers.RNN дают одинаковые результаты. Может ли кто-нибудь помочь мне понять разницу между tf.keras.layers.RNN и tf.keras.layers.StackedRNNCells? 

# driving parameters
sz_batch = 128
sz_latent = 200
sz_sequence = 196
sz_feature = 2
n_units = 120
n_layers = 3

Многослойный RNN с tf.keras.layers.RNN: 

inputs = tf.keras.layers.Input(batch_shape=(sz_batch, sz_sequence, sz_feature))
cells = [tf.keras.layers.GRUCell(n_units) for _ in range(n_layers)]
outputs = tf.keras.layers.RNN(cells, stateful=True, return_sequences=True, return_state=False)(inputs)
outputs = tf.keras.layers.Dense(1)(outputs)
model = tf.keras.Model(inputs=inputs, outputs=outputs)
model.summary()

возвращает: 

Model: "model_13"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_88 (InputLayer)        [(128, 196, 2)]           0         
_________________________________________________________________
rnn_61 (RNN)                 (128, 196, 120)           218880    
_________________________________________________________________
dense_19 (Dense)             (128, 196, 1)             121       
=================================================================
Total params: 219,001
Trainable params: 219,001
Non-trainable params: 0

Многослойный RNN с tf.keras.layers.RNN и tf.keras.layers.StackedRNNCells: 

inputs = tf.keras.layers.Input(batch_shape=(sz_batch, sz_sequence, sz_feature))
cells = [tf.keras.layers.GRUCell(n_units) for _ in range(n_layers)]
outputs = tf.keras.layers.RNN(tf.keras.layers.StackedRNNCells(cells),
                              stateful=True, 
                              return_sequences=True, 
                              return_state=False)(inputs)
outputs = tf.keras.layers.Dense(1)(outputs)
model = tf.keras.Model(inputs=inputs, outputs=outputs)
model.summary()

возвращает: 

Model: "model_14"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_89 (InputLayer)        [(128, 196, 2)]           0         
_________________________________________________________________
rnn_62 (RNN)                 (128, 196, 120)           218880    
_________________________________________________________________
dense_20 (Dense)             (128, 196, 1)             121       
=================================================================
Total params: 219,001
Trainable params: 219,001
Non-trainable params: 0

1 Ответ

2 голосов
/ 12 марта 2020

tf.keras.layers.RNN использует tf.keras.layers.StackedRNNCells, если вы дадите ему список или кортеж ячеек. Это делается в https://github.com/tensorflow/tensorflow/blob/v2.1.0/tensorflow/python/keras/layers/recurrent.py#L390

...