Какова длина последовательности двунаправленного слоя Keras? - PullRequest
Новая
       69

Какова длина последовательности двунаправленного слоя Keras?

1 голос
/ 25 февраля 2020

Если у меня есть: 

        self.model.add(LSTM(lstm1_size, input_shape=(seq_length, feature_dim), return_sequences=True))
        self.model.add(BatchNormalization())
        self.model.add(Dropout(0.2))

, тогда мой seq_length указывает, сколько срезов данных я хочу обработать одновременно. Если это имеет значение, моя модель является последовательностью к последовательности (того же размера).

Но если у меня есть: 

        self.model.add(Bidirectional(LSTM(lstm1_size, input_shape=(seq_length, feature_dim), return_sequences=True)))
        self.model.add(BatchNormalization())
        self.model.add(Dropout(0.2))

, тогда это удваивает размер последовательности? Или на каждом временном шаге он получает seq_length / 2 до и после этого временного шага?

1 Ответ

1 голос
/ 25 февраля 2020

Использование двунаправленного слоя LSTM не влияет на длину последовательности. Я проверил это с помощью следующего кода: 

from keras.models import Sequential
from keras.layers import Bidirectional,LSTM,BatchNormalization,Dropout,Input

model = Sequential()
lstm1_size = 50
seq_length = 128
feature_dim = 20
model.add(Bidirectional(LSTM(lstm1_size, input_shape=(seq_length, feature_dim), return_sequences=True)))
model.add(BatchNormalization())
model.add(Dropout(0.2))

batch_size = 32

model.build(input_shape=(batch_size,seq_length, feature_dim))

model.summary()

Это привело к следующему выводу для двунаправленного 

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
bidirectional_1 (Bidirection (32, 128, 100)            28400     
_________________________________________________________________
batch_normalization_1 (Batch (32, 128, 100)            400       
_________________________________________________________________
dropout_1 (Dropout)          (32, 128, 100)            0         
=================================================================
Total params: 28,800
Trainable params: 28,600
Non-trainable params: 200

Нет двунаправленного слоя: 

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
lstm_1 (LSTM)                (None, 128, 50)           14200     
_________________________________________________________________
batch_normalization_1 (Batch (None, 128, 50)           200       
_________________________________________________________________
dropout_1 (Dropout)          (None, 128, 50)           0         
=================================================================
Total params: 14,400
Trainable params: 14,300
Non-trainable params: 100
_________________________________________________________________
...