Должен ли я переучивать модель со всем набором данных после использования разбиения "поезд-тест", чтобы найти лучшие гиперпараметры?

Question

Я разбил свой набор данных на обучение и тестирование. В конце, после нахождения наилучших гиперпараметров для набора обучающих данных, следует ли мне снова подогнать модель, используя все данные? Суть в том, чтобы получить максимально возможную оценку для новых данных.

Answer 1

Я так не думаю. Если вы сделаете это, у вас больше не будет действительного набора тестов. Что произойдет, когда вы вернетесь, чтобы улучшить модель позже? Если вы сделаете это, то вам понадобится новый набор тестов при каждом улучшении модели, что означает больше маркировки. Вы не сможете сравнивать эксперименты в разных модельных версиях, потому что набор тестов не будет идентичным.

Если вы считаете эту модель законченной навсегда, тогда хорошо.

Answer 2

Да, это поможет обобщить вашу модель, поскольку больше данных обычно означает лучшее обобщение.