Встраивание слоя Keras, вызывающее проблемы с размерностью

Question

В настоящее время я пытаюсь включить слой встраивания в мой авто-кодер последовательности-последовательности, созданный с помощью функционального API-интерфейса keras.

Код модели выглядит следующим образом:

#Encoder inputs
encoder_inputs = Input(shape=(None,))

#Embedding
embedding_layer = Embedding(input_dim=n_tokens, output_dim=2)
encoder_embedded = embedding_layer(encoder_inputs)

#Encoder LSTM
encoder_outputs, state_h, state_c = LSTM(n_hidden, return_state=True)(encoder_embedded)
lstm_states = [state_h, state_c]


#Decoder Inputs
decoder_inputs = Input(shape=(None,)) 

#Embedding
decoder_embedded = embedding_layer(decoder_inputs)

#Decoder LSTM
decoder_lstm = LSTM(n_hidden, return_sequences=True, return_state=True, )
decoder_outputs, _, _ = decoder_lstm(decoder_embedded, initial_state=lstm_states)


#Dense + Time
decoder_dense = TimeDistributed(Dense(n_tokens, activation='softmax'), input_shape=(None, None, 256))
#decoder_dense = Dense(n_tokens, activation='softmax', )
decoder_outputs = decoder_dense(decoder_outputs)

model = Model([encoder_inputs, decoder_inputs], decoder_outputs)
model.compile(loss='categorical_crossentropy', optimizer='rmsprop', metrics=['accuracy'])

Модель обучается так:

model.fit([X, y], X, epochs=n_epoch, batch_size=n_batch)

с X и y, имеющими форму (n_samples, n_seq_len)

Компиляция модели работает безупречно, а при попытке тренироваться я будувсегда получают:

ValueError: Ошибка при проверке цели: ожидаемый time_distributed_1 имеет 3 измерения, но получил массив с формой (n_samples, n_seq_len)

Есть ли у кого-нибудь идеи??

Версия Keras - 2.2.4Бэкэнд версии Tensorflow 1.12.0

Answer 1

В таком автоэнкодере, поскольку последний слой является классификатором softmax, вам нужно в горячем виде кодировать метки:

from keras.utils import to_categorical

one_hot_X = to_categorical(X)

model.fit([X, y], one_hot_X, ...)

В качестве примечания, поскольку Плотный слой применяется кпоследняя ось , нет необходимости оборачивать слой Dense в слой TimeDistributed.