Сравнение результатов нейронной сети по двум подмножествам функций

Question

Я использую модель LSTM на многомерном наборе временных рядов с 24 функциями.Я выполнил извлечение объектов, используя несколько различных методов (тестирование отклонений, извлечение случайных лесов и Extra Tree Classifier).Различные методы привели к немного другому подмножеству функций.Теперь я хочу протестировать свою модель LSTM на всех подмножествах, чтобы увидеть, какие из них дают наилучшие результаты.

Моя проблема заключается в том, что оценки RMSE по тестированию / обучению для моих 3 моделей очень похожи, и каждый раз, когда я запускаюМодель я получаю немного разные ответы.Этот вопрос задается человеком, который наивен и все еще изучает тонкости нейронных сетей, поэтому, пожалуйста, помогите мне понять: в таком случае, как вы решаете, какая модель лучше?Можете ли вы сделать посев для нейронных сетей?Или какое-то усреднение по определенному количеству испытаний?

Answer 1

Поскольку вы упомянули, что, используя разные методы извлечения объектов, вы получаете только немного разные наборы функций, поэтому результаты также схожи.Кроме того, поскольку ваша модель LSTM также получает почти аналогичные значения RMSE, модели способны хорошо обобщать, учиться одинаково и извлекать важную информацию из всех наборов данных.

Лучшая модель зависит от ваших будущих данных, вычисленийВремя и загрузка различных методов и насколько хорошо они будут длиться в производстве.Установка семени не очень хорошая идея в нейронных сетях.Основная идея заключается в том, что ваша модель должна быть в состоянии достичь оптимального веса независимо от того, как они начинаются.Если ваши модели всегда получают схожие результаты, в большинстве случаев это хорошо.