Получение общей точности n различных матриц путаницы путем усреднения точности всех n матриц путаницы

Question

Я хочу проверить точность модели классификации cforest. Я запустил его 50 раз, и я получил разные классификации для каждого запуска. У меня также есть основополагающая истина, т. Е. Реальная классификация для проверки.

Для каждой классификации я вычислял матрицу путаницы (всего 50 матриц путаницы). Могу ли я теперь вычислить среднее значение всех 50 значений точности, полученных из отдельных матриц путаницы, чтобы получить общую точность моей модели? Будет ли это точным способом проверки (средней) точности моей модели?

Answer 1

Поскольку вы заявили, что вы запускали модель (модель классификации лесов) 50 раз для одного и того же набора данных и каждый раз, когда получали разные результаты, что возможно, поскольку модель использовала разные значения hyperparameter при каждом запуске,и как следует из названия, это модель дерева, поэтому срезы деревьев будут другими.

Для этого есть два решения:

Первый подход, как вы предложили взять среднее значение, и чтобы быть более конкретным, поскольку это классификационная модель, вы можете взять majority vote из confusion matrix и затем доработайте свой результат. Это даст вам довольно точные результаты.

Второй подход, который более логичен, состоит в том, чтобы установить для параметра nfold cross validation в вашей модели значение 50 или аналогичный параметр, который автоматически переобучает модель 50 раз, используя 50различные отрезки данных, то это даст вам единую модель и лучшую производительность по сравнению с усредненной моделью 50.