Модель точности машинного обучения Keras против точности прогноза новых данных

Question

Я сделал модель глубокого обучения с использованием керас.Точность модели составляет 99%.

    $`loss`
[1] 0.03411416

$acc
[1] 0.9952607

Когда я делаю классы прогнозирования для моего нового файла данных с использованием модели, у меня только 87% классов хорошо классифицированы.Мой вопрос: почему существует разница между точностью модели и оценкой прогноза модели?

Answer 1

Ваши 99% включены в Учебный комплект , это показатель того, что ваш алгоритм выполняет ваш алгоритм во время тренировки, вы никогда не должны смотреть на него как на справку.

Вы должны всегдапосмотрите на ваш набор тестов, это реальная ценность, которая имеет значение.

Более того, ваша точность всегда должна выглядеть следующим образом (по крайней мере, стиль):

например, точность набора тренировок всегда растети набор тестов, следуя той же тенденции, но ниже кривой обучения.

У вас никогда не будет двух одинаковых одинаковыхнаборы (обучение и тестирование / проверка), так что это нормально , чтобы иметь разницу.

Цель обучающего набора - обобщить ваши данные и извлечь из них уроки.

Цель испытательного комплекта - проверить, хорошо ли вы обобщены .

Если вы слишком далеко от тренировочного комплекса,либо есть большая разница между двумя наборами (в основномibution, типы данных и т. д.), или если они схожи, значит, ваша модель перегружена (что означает, что ваша модель слишком близка к вашим данным обучения, и если в ваших данных тестирования будет небольшое различие, это приведет к неправильным прогнозам).

Причина, по которой модель переопределяется, заключается в том, что ваша модель слишком сложна, и вы должны упростить ее (например, уменьшить количество слоев, уменьшить количество нейронов и т. Д.)