ValueError: Ошибка при проверке цели: ожидалось, что плотность_3 имеет 2 измерения, но получен массив с формой (500, 10, 14)

Question

Keras: 2.1.6, python 3.6, тензор потока 1.8.0

Я пытаюсь обучить модель последовательности, которая имеет два слоя LSTM и 3 плотных слоя.Я заранее подготовил некоторые данные и настроил их в формате, который требуется для слоя LSTM, то есть (n_samples, n_timesteps, n_features).Мои данные имеют 14 функций и представляют собой длинную последовательность из 5000 шагов, поэтому я разбил их на 500 выборок по 10 временных шагов каждая.Когда я закончил, я начал с модели ниже, но вскоре столкнулся с ошибкой формы ввода для последнего слоя.Я пытался использовать Sequential и Functional API, оба выдали одну и ту же ошибку.

import keras 
from keras import callbacks
import tensorflow as tf
from keras.models import Model
from keras.layers import Input, Dense
from keras.layers import LSTM


X_input = Input(X_train.shape[1:]);

## First LSTM Layer
X = LSTM(10, return_sequences=True, input_shape = (10,14), name = 'LSTM_1')(X_input);

## Second LSTM Layer
X = LSTM(10)(X);

## First Dense Layer
X = Dense(10, activation='relu', name = 'dense_1')(X)

## Second Dense Layer
X = Dense(5, activation='relu', name = 'dense_2')(X)

## Final Dense Layer
X = Dense(1, activation='relu', name = 'dense_3')(X)

    ##The model object
model = Model(inputs = X_input, outputs = X, name='LSTMModel')

model.compile(optimizer = "Adam" , loss = "mean_squared_error", metrics = ['mean_squared_error','cosine', 'mae']);

Model.fit(x = X_train, y = Y_train, epochs = 300, callbacks=[tensorboard], validation_data=(X_eval,Y_eval));

Мои данные имеют форму (500,10,14):

>>> X_train.shape
(500,10,14)

И сводка моей модели выглядит так:

model.summary()
_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
input_1 (InputLayer)         (None, 10, 14)            0
_________________________________________________________________
LSTM_1 (LSTM)                (None, 10, 10)            1000
_________________________________________________________________
LSTM_2 (LSTM)                (None, 10)                840
_________________________________________________________________
dense_1 (Dense)              (None, 10)                110
_________________________________________________________________
dense_2 (Dense)              (None, 5)                 55
_________________________________________________________________
dense_3 (Dense)              (None, 1)                 6
=================================================================
Total params: 2,011
Trainable params: 2,011
Non-trainable params: 0
_________________________________________________________________

Хотя, я все еще получаю ошибку:

ValueError: Error when checking target: expected dense_3 to have 2 dimensions, but got array with shape (500, 10, 14)

Форма моих меток следующая:

X_train = np.reshape(Train_data_scaled.values,(500,10,14));
Y_train = np.reshape(Train_labels_scaled.values,(500,10,1));
X_eval = np.reshape(Validation_data_scaled.values,(10,10,14));
Y_eval = np.reshape(Validation_labels_scaled.values,(10,10,1));

После добавления слоя RepeatVector я нахожудругая проблема здесь - трассировка стека того же самого.

_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
input_1 (InputLayer)         (None, 10, 14)            0
_________________________________________________________________
LSTM_1 (LSTM)                (None, 10)                1000
_________________________________________________________________
repeat_vector_1 (RepeatVecto (None, 10, 10)            0
_________________________________________________________________
LSTM_2 (LSTM)                (None, 10, 10)            840
_________________________________________________________________
dense_1 (Dense)              (None, 10, 10)            110
_________________________________________________________________
dense_2 (Dense)              (None, 10, 5)             55
_________________________________________________________________
dense_3 (Dense)              (None, 10, 1)             6
=================================================================
Total params: 2,011
Trainable params: 2,011
Non-trainable params: 0
_________________________________________________________________
Traceback (most recent call last):
  File ".\lstm.py", line 76, in <module>
    tf.app.run()
  File "C:\Program Files\Python36\lib\site-packages\tensorflow\python\platform\app.py", line 126, in run
    _sys.exit(main(argv))
  File ".\lstm.py", line 67, in main
    Hist =  Model.fit(x = X_train, y = Y_train, epochs = 300,batch_size=10, callbacks=[tensorboard], validation_data=(X_eval,Y_eval));
  File "C:\Program Files\Python36\lib\site-packages\keras\engine\training.py", line 1630, in fit
    batch_size=batch_size)
  File "C:\Program Files\Python36\lib\site-packages\keras\engine\training.py", line 1480, in _standardize_user_data
    exception_prefix='target')
  File "C:\Program Files\Python36\lib\site-packages\keras\engine\training.py", line 123, in _standardize_input_data
    str(data_shape))
ValueError: Error when checking target: expected dense_3 to have shape (10, 1) but got array with shape (10, 14)

Answer 1

Поскольку вы хотите предсказать ценность истории через 10 дней, вам нужно установить аргумент return_sequences второго слоя LSTM на True, чтобы создать выходную форму всей модели (None, 10, 1):

## Second LSTM Layer
X = LSTM(10, return_sequences=True)(X)

Кроме того, более общим решением для прогнозирования значений d days в будущем является использование слоя RepeatVector сразу после первого слоя LSTM.На этот раз вам нужно установить return_sequences аргумент первого слоя LSTM на False:

d = 5  # how many days in the future you want to predict?

## First LSTM Layer
X = LSTM(10, input_shape = (10,14), name = 'LSTM_1')(X_input);

X = RepeatVector(d)(X)

## Second LSTM Layer
X = LSTM(10, return_sequences=True)(X)

Это как если бы первый слой LSTM кодирует входные данные, а второй слой LSTM предсказывает будущее значение (s) на основе этого закодированного представления.Кроме того, нет необходимости говорить, что форма массивов меток (т.е. y_train) также должна быть (n_samples, d, n_feats).