Как оценить производительность модели машинного обучения на новых наборах данных, в дополнение к наборам данных для обучения, проверки и тестирования?

Question

Сценарий: Наша команда по науке данных создает модели машинного обучения для задач классификации. Мы оцениваем производительность нашей модели на поездах, валидации и тестовых наборах данных. Мы используем точность, отзыв и F1 балл. Затем мы запускаем модели на новых наборах данных в производственной среде и делаем прогнозы. Спустя неделю мы получаем обратную связь о том, насколько хорошо работают наши прогнозирующие модели.

Вопрос: Когда мы оцениваем производительность наших моделей на реальных наборах данных, какие метрики нам следует использовать? Является ли точность прогноза лучшей метрикой c в этом контексте?

Answer 1

Я думаю, что вы должны либо измерять те же самые метрики, либо некоторые бизнес-метрики.

Обычно модели оптимизируются для определенного убытка / метри c, и это означает, что модель имеет высокое значение определенного Метри c может иметь худшее значение для другого метри c.

Точность - это метри c, на которую сильно влияет баланс классов в данных, поэтому ее следует использовать с осторожностью.

Поэтому я предлагаю использовать те же метрики.

Другой подход заключается в использовании некоторых бизнес-метрик - например, дохода, который принесли эти модели.