ValueError: Ошибка при проверке цели: ожидалось, что плотность_3 имеет 3 измерения, но получен массив с формой (5, 3)

Question

У меня есть следующий код, который создает сеть LSTM с использованием Keras с бэкэндом TensorFlow. Этот код работает хорошо.

import numpy as np
import pandas as pd
from sklearn import model_selection
from keras.models import Sequential
from keras.layers import Dense, Activation, Dropout
from keras.layers.recurrent import LSTM
from keras.utils import np_utils

flights = {
            'flight_stage': [1,0,1,1,0,0,1],
            'scheduled_hour': [16,16,17,17,17,18,18],
            'delay_category': [1,0,2,2,1,0,2]
        }

columns = ['flight_stage', 'scheduled_hour', 'delay_category']

df = pd.DataFrame(flights, columns=columns)

X = df.drop('delay_category',1)
y = df['delay_category']

X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=0.25, random_state=42)

nb_features = X_train.shape[1]
nb_classes = y.nunique()
hidden_neurons = 32
timestamps = X_train.shape[0]

# Reshape input data to 3D array
X_train = X_train.values.reshape(1, X_train.shape[0], X_train.shape[1])
X_test = X_test.values.reshape(1, X_test.shape[0], X_test.shape[1])

y_train = np_utils.to_categorical(y_train, nb_classes)
y_test = np_utils.to_categorical(y_test, nb_classes)

model = Sequential()
model.add(LSTM(
                units=hidden_neurons, 
                return_sequences=True, 
                input_shape=(timestamps,nb_features)
              )
         )

model.add(Dropout(0.2))

model.add(Dense(activation='softmax', units=nb_classes))

model.compile(loss="categorical_crossentropy",
              optimizer='adadelta')

Но когда я начинаю тренировать модель, она терпит неудачу:

history = model.fit(X_train, y_train, validation_split=0.25, epochs=500, batch_size=2, shuffle=True, verbose=0)

Ошибка:

ValueError: Error when checking target: expected dense_19 to have 3 dimensions, but got array with shape (5, 3)

Эта ошибка относится к финальному плотному слою. Я использовал model.summary(), чтобы получить точные размеры. Выходная форма плотного слоя - (None, 5, 3). Однако я не понимаю, почему у него есть 3 измерения и что означает None (как оно появилось в этом последнем слое)?

Answer 1

3 - количество единиц, возвращаемых последним слоем. Это количество классов для активации софтмакс

5 - это количество единиц, возвращаемых lstm, которое указывает размер возвращаемых последовательностей

Нет - это число элементов в пакете для последнего слоя. Это просто означает, что последний слой может принимать разные размеры для каждой партии тензорной формы [5, 3]

X_train shape: (1, 5, 2), 
X_test shape: (1, 2, 2), 
y_train shape: (5,3), 
y_test shape: (2,3)

Глядя на форму данных, очевидно, что существует несоответствие между размером пакета элементов и ярлыков. Самое левое число должно быть одинаковым между формой объектов X и формой меток y. Это пакетный размер.

'1', 5, 2 => batch size of 1
'2', 3 => batch size of 2

Здесь несоответствие. Также, чтобы решить проблему между выходом слоя lstm и вводом последнего слоя, можно использовать layer.flatten

nb_classes = 3
hidden_neurons = 32

model = Sequential()

model.add(LSTM(
                units=hidden_neurons, 
                return_sequences=True, 
                input_shape=(5, 2)
              )
         )

model.add(Dropout(0.2))
model.add(Flatten())
model.add(Dense(activation='softmax', units=nb_classes))

model.compile(loss="categorical_crossentropy",
              optimizer='adadelta')

model.compile(loss='categorical_crossentropy',
              optimizer='adam')

живой код