Имеет ли смысл 10-кратный тест для измерения избыточного оснащения?

Question

Насколько я понимаю, модель, безусловно, переоснащается, если 1. сходится слишком рано 2. потери при проверке продолжают расти

Опять же, насколько мне известно, нет никакого способа обойти это, если вы не сделаете потерю валидации сходной с тенденцией, аналогичной вашей потере обучения, так что вы сможете сделать больше прироста данных и т. Д.

Тем не менее, так много статей, которые я читал, утверждают, что 10-кратное увеличение является признаком надежности и показывает, что модель не подходит. Однако, когда я воссоздаю эти эксперименты, я могу сказать, что они действительно подходят, показывают ли они высокую точность или нет. Кроме того, многие люди думают, что они просто прибавят 10 раз, и это хорошо. В обзорах также предлагается только 10-кратное экспериментирование для решения проблемы переоснащения.

Я ошибаюсь? Есть ли надежда на потерю проверки, которая не сходится, а растет? Или кроме потери проверки есть мера?

Answer 1

Полагаю, под 10-кратным тестом вы имеете в виду 10-кратную перекрестную проверку.

Обычно перекрестная проверка полезна только для очень маленьких наборов данных, то есть с менее чем 1000 выборок.

Переоснащение означает, что сложность вашей модели намного выше, чем необходимо. Типичным признаком переоснащения является очень высокая точность обучения по сравнению с низкой точностью проверки.

Следовательно, использование 10-кратной перекрестной проверки не может предотвратить переоснащение как таковое. Рассмотрим два примера:

Во-первых, точность обучения 99,8%, 10-кратная точность перекрестной проверки 70%.

Во-вторых, точность обучения 77%, точность перекрестной проверки в 10 раз 70%.

В обоих случаях одна и та же 10-кратная перекрестная проверка позволила получить точность 70%. Однако первый случай явно переоснащен, а второй - нет.

Надеюсь, это проясняет ситуацию.