Каков обычный показатель успеха для моделей нейронных сетей?

Question

Я строю систему с NN, подготовленным для классификации.

Меня интересует, какова частота ошибок для систем, которые вы создали?

Классический пример из UCI ML - это набор данных Iris. НН обучен на нем практически идеально - коэффициент ошибок 0-1%; однако это очень простой набор данных.

Моя сеть имеет следующую структуру: 80in, 208hid, 2out. Мой результат - 8% ошибок при тестировании набора данных.

В основном в этом вопросе я хочу спросить о различных результатах исследований, с которыми вы столкнулись, в вашей работе, бумагах и т. д.

Дополнение 1: частота ошибок, конечно, на данных тестирования, а не на обучении. Так что это совершенно новый набор данных для сети

Дополнение 2 (из моего комментария под вопросом): Мои новые результаты. 1200 заявок, 900 тренингов, 300 тестирований. 85 в классе 1, 1115 в классе 2. Из 85, 44 в тестовом наборе. Уровень ошибок - 6%. Это не так плохо, потому что 44 ~ 15% от 300. Так что я в 2,5 раза лучше ..

Answer 1

Производительность модели полностью зависит от конкретной проблемы. Даже среди ситуаций с аналогичным качеством и объемами данных разработки, с идентичными определениями целевых переменных, производительность может существенно различаться. Очевидно, что чем больше сходных определений проблемы, тем больше вероятность совпадения производительности разных моделей.

Еще одна вещь, которую следует учитывать, - это разница между техническими характеристиками и деловыми показателями . В некоторых приложениях точность 52% чрезвычайно выгодна, тогда как в других областях точность 98% будет безнадежно низкой.

Answer 2

Позвольте мне также добавить, что помимо того, что упоминает Predictor, измерение вашей производительности на тренировочном наборе обычно бесполезно в качестве руководства для определения того, как ваш классификатор будет работать с ранее невидимыми данными. Много раз с относительно простыми классификаторами вы можете получить 0% ошибок в обучающем наборе, не изучая ничего полезного (это называется переоснащением).

Что чаще всего используется (и более полезно при определении того, как работает ваш классификатор), так это данные или перекрестная проверка, даже лучше, если вы разделяете ваши данные на три части: обучение, проверка и тестирование.

Также очень трудно понять, насколько хорошо работает классификатор с одного порога и дает только истинные положительные + истинные отрицательные значения. Люди также склонны оценивать ложноположительные и ложноотрицательные результаты и строить кривые ROC, чтобы увидеть / оценить компромисс. Итак, говоря «в 2,5 раза лучше», вы должны понимать, что вы сравниваете себя с классификатором, который классифицирует все как C2, что является довольно дрянным базовым показателем.

Answer 3

См., Например, эту статью:

Данило П. Мандич и Джонатон А. Чанберс (2000).На пути к оптимальной скорости обучения при обратном распространении, Нейронная Обработка Буквы 11: 1–5 . PDF