Keras - Внедрение слоя и ошибка формы слоя GRU

Question

# input_shape = (137861, 21, 1)
# output_sequence_length = 21
# english_vocab_size = 199
# french_vocab_size = 344

def embed_model(input_shape, output_sequence_length, english_vocab_size, french_vocab_size):
    '''
    Build and train a RNN model using word embedding on x and y
    :param input_shape: Tuple of input shape
    :param output_sequence_length: Length of output sequence
    :param english_vocab_size: Number of unique English words in the dataset
    :param french_vocab_size: Number of unique French words in the dataset
    :return: Keras model built, but not trained
    '''

    learning_rate = 1e-3
    model = Sequential()

    model.add(Embedding(english_vocab_size, 128, input_length=output_sequence_length, input_shape=input_shape[1:]))

    model.add(GRU(units=128, return_sequences=True))
    model.add(TimeDistributed(Dense(french_vocab_size)))
    model.add(Activation('softmax'))

    model.summary()

    model.compile(loss=sparse_categorical_crossentropy,
                  optimizer=Adam(learning_rate),
                  metrics=['accuracy'])

    return model

При вызове этого метода для обучения модели выдается ошибка:

ValueError: Input 0 is incompatible with layer gru_1: expected ndim=3, found ndim=4

Как исправить ошибку формы между Embedded Layer и GRU Layer?

Answer 1

Проблема в том, что слой Embedded принимает двумерный массив в качестве входных данных. Однако форма входного массива равна (137861, 21, 1), что делает его трехмерным массивом. Просто удалите последнюю ось, используя метод squeeze() из numpy:

data = np.squeeze(data, axis=-1)

---

В качестве стороны, здесь нет необходимости использовать слой TimeDistributed, поскольку Плотный слой наносится на последнюю ось с помощью defualt .