Это называется переоснащением.Если вы не проведете перекрестную проверку, ваш классификатор, скорее всего, изучит случаи в выборке, не имея возможности обобщать.
Чтобы выяснить, нужен ли вам тренировочный набор, набор тестов (перекрестный тест).набор проверки) и набор проверки, чтобы проверить, насколько хорошо ваш классификатор обобщает на новые случаи.