Использование разных тестов / составов для каждой цели

Question

Я планирую использовать набор данных, который содержит 3 целевых значения интереса. В конечном итоге я буду пробовать методы классификации на бинарной цели, а также планирую использовать методы регрессии для двух отдельных непрерывных целей.

Является ли это плохой практикой делать разные составы / тесты для каждой целевой переменной?

В противном случае, я не уверен, как разделить данные таким образом, чтобы я мог предсказывать каждую цель отдельно.

Answer 1

Если они эффективно обучают и оценивают 3 разные модели по отдельности, то для научной оценки эффективности каждой модели не имеет значения, используете ли вы разные сплит-тесты для каждой модели, так как из модели не будет никакой утечки информации моделировать. Но если вы планируете сравнить результаты 3 моделей или объединить все 3 балла в некоторый совокупный показатель c, то вы захотите использовать одно и то же разделение тестового набора, чтобы все 3 модели работали с одинаковыми данными обучения, так как в противном случае производительность каждой модели, вероятно, будет в некоторой степени зависеть от данных испытаний для других моделей, и поэтому ваш комбинированный балл будет в некоторой степени зависеть от данных ваших испытаний.