Валидация потери или оценка модели

Question

У меня есть модель Gated Reccurent (GRU), и я сделал две версии, каждая из которых немного отличается. Когда я запустил оба, Версия 1 дала мне среднеквадратичную ошибку проверки (MSE) 0,0013, а Версия 2 дала мне 0,0015. Это означает, что версия 1 является лучшей моделью. Но когда я запустил model.evaluate(X_test,y_test) с тестовым фреймом данных, версия дала мне значение MSE 0,0027, а версия 2 дала мне 0,0018.

У меня вопрос, какая версия считается лучше, версия, которая дает лучшую проверку MSE или модель, которая дала более низкое значение MSE при использовании тестового фрейма данных для прогнозирования

Спасибо.

Answer 1

Прежде всего, вы не можете обмануть тестовый набор, а выбрать модель так, чтобы она давала лучшие результаты на тесте. Валидация предназначена для этого намерения, и тест предназначен только для проверки валидации, и тесты ладят друг с другом.

Вы не упомянули размер обучения, валидации и теста. Размер данных, которые вы используете, очень важен, чтобы быть настолько большим, чтобы представлять реальное распределение данных при обучении, валидации и тестировании.

С другой стороны, способ выборки данных должно быть сделано таким образом, чтобы три набора имели одинаковое распределение.

В заключение, не в последнюю очередь, вы сравниваете два результата, которые отличаются примерно на 0,0002 в MSE. Я не верю, что это дает вам хорошее мнение о том, какой из них лучше.