Почему val_loss слишком низкий, а Test Root Mean Squared Error выше?

Question

Я обучаю LSTM, где набор данных состоит из 17568 строк для контролируемых значений по 2 месяца каждый с периодом 5 минут.

Модель: '' '

model = Sequential()
model.add(LSTM(300, activation='relu', input_shape=(X_train.shape[1], X_train.shape[2]),return_sequences=True))
model.add(Dropout(0.1))
model.add(LSTM(300, activation='relu'))
model.add(Dense(1))
model.compile(loss='mean_squared_error', optimizer='adam')
history = model.fit(X_train, Y_train, epochs=100, batch_size=70, validation_data=(X_test, Y_test), 
                    callbacks=[EarlyStopping(monitor='val_loss',patience=10, verbose=1)], verbose=1, shuffle=False)
model.summary()

'' '

Код для идентификации RMSE: ' '*

train_predict = model.predict(X_train)
test_predict = model.predict(X_test)
# invert predictions
train_predict = scaler.inverse_transform(train_predict)
Y_train = scaler.inverse_transform([Y_train])
test_predict = scaler.inverse_transform(test_predict)
Y_test = scaler.inverse_transform([Y_test])
print('Train Mean Absolute Error:', mean_absolute_error(Y_train[0], train_predict[:,0]))
print('Train Root Mean Squared Error:',np.sqrt(mean_squared_error(Y_train[0], train_predict[:,0])))
print('Test Mean Absolute Error:', mean_absolute_error(Y_test[0], test_predict[:,0]))
print('Test Root Mean Squared Error:',np.sqrt(mean_squared_error(Y_test[0], test_predict[:,0])))

' ''

Теперь мой вопрос val_loss = 0,0017 и убытки = 0,0019

Но RMSE: '' '

Train Mean Absolute Error: 10.814174578676965
Train Root Mean Squared Error: 13.792484521895835
Test Mean Absolute Error: 8.059164253166095
Test Root Mean Squared Error: 10.6127240648618

' '' Пожалуйста, помогите мне понять, где я делаю неправильно? Я пытаюсь понять это за последние три дня. Но я не мог. Пожалуйста, спасите мою жизнь

Answer 1

val_loss и loss вычисляются во время обучения по цели SCALED, в то время как mae и rmse вычисляются после цели INVERSESCALED, и это реальная производительность