Нестабильное поведение РНН - PullRequest
0 голосов
/ 12 марта 2019

Я тренирую модель LSTM с некоторыми финансовыми данными. Не могу раскрыть детали данных, так как это реальные торговые данные. Проблемы, с которыми я сталкиваюсь, заключаются в том, что во время обучения Керас распечатывает журналы с информацией, касающейся потерь в обучении и тестировании, точности. В этих журналах моя точность тестирования составляет 56%, а иногда и около нее. Но для оценки я создал простую функцию, которая делает прогноз на тестовых данных, а затем, используя оценку точности sklearn, выводит на экран точность прогнозов. Теперь эта точность составляет 24%, а иногда и хуже. Что может быть причиной этого? Я на 100% уверен, что данные теста совпадают, и в моем коде нет ошибок. Что я могу сделать, чтобы получить хорошие результаты? Я уже пробовал настраивать скорость обучения, архитектуру модели, слои, оптимизаторы, отсечение градиента и т. Д., Но все же у меня такое же поведение.

Я добавляю изображения логов и матрицы путаницы. enter image description here enter image description here

1 Ответ

0 голосов
/ 12 марта 2019

Я на 100% уверен, что данные теста совпадают, и в моем коде нет ошибок.

Поправьте меня, если я ошибаюсь: если я правильно понимаю, вы разделили свои данные на 2 части: тренировка и проверка. Вы выполняете проверку ваших тестовых данных с использованием метрик Keras, а затем также выполняете проверку с помощью sklearn, которая возвращает разные результаты. Похоже, у вас проблема регрессии с пользовательской функцией потерь / метрики.

Считаете ли вы, что у вас под рукой могут быть разные формулы расчета точности? Например, одна формула может быть min(prediction, target)/max(prediction, target), а другая - 1-(abs(prediction - target)/target)

...