Стратегии решения переоснащения - другие варианты?

Question

Я строю прогностическую модель, в которой я хочу знать, могу ли я предсказать, будет ли посылка доставлена ​​вовремя (Бинарный Да / Нет), в случае, если посылка не доставлена ​​вовремя, я хочу иметь возможностьпредсказать, когда он будет доставлен в категориях <7 дней, <14 дней, <21 дней> 28 дней после ожидаемой даты.

Я построил и протестировал модель для бинарной классификации и получил f балл 0,92, что удовлетворительно для моих нужд.Однако, когда я тренирую свою категориальную модель, я начинаю видеть, как точность обучения и точность проверки расходятся (точность обучения намного лучше, чем точность проверки).Это признак переоснащения.

Тем не менее, я пробовал регуляризацию и другие значения, а также использовал выпадение и другие значения, и точность проверки никогда не становится выше 0,7.Мой общий тренировочный набор состоит из ~ 10 тыс. Примеров, ~ 3 тыс. Проверок, и хотя распределение по категориям не одинаково, достаточно примеров для каждой категории (я думаю).Я использую NN и увеличил / уменьшил как слои, так и активации, и все равно не радуюсь

Есть мысли о том, куда идти дальше.Спасибо

Answer 1

Подход, который мы выбрали, заключается в проведении линейной регрессии с ожидаемой продолжительностью в качестве целевой переменной.Мы исключили некоторые выбросы, а затем взяли различия между фактическими и прогнозируемыми днями.Затем мы max'd и min'd разницу, и теперь у нас есть прогноз с допустимым диапазоном.Мы будем продолжать работать над другими методами, чтобы увидеть, сможем ли мы улучшить.Спасибо всем, кто предложил идеи

Answer 2

Поскольку вы используете NN, добавьте выпадающие слои.Посмотрите, может ли это помочь уменьшить проблему переоснащения.А также проверьте это Как выбрать количество скрытых слоев и узлов в нейронной сети с прямой связью?

Чем сложнее сеть (скрытые слои, количество нейронов в них), тем большена переоснащение проблемы