Фактические значения матрицы путаницы меняются каждый раунд - PullRequest
Новая
       66

Фактические значения матрицы путаницы меняются каждый раунд

0 голосов
/ 10 января 2020

Каждый выход является различным значением K для модели KNN. У меня есть 10 функций и двоичная цель (1 или 0). Я не могу понять, почему фактические значения в Матрице смешения изменяются каждый раз, не должны ли они оставаться неизменными? Точность - это только% от общего количества строк и правильных. Я новичок, и я уверен, что делаю что-то не так, я не могу понять. Можете ли вы прокомментировать этот вывод? 

KNN 

Accuracy Test score: 0.5564304461942258
Accuracy Train score: 1.0
AUC Score: 0.5176288721089244
F1 Score: 0.380952380952381
Confusion Matrix: [[160  82]
 [ 87  52]]
Outsample data accuracy: 54.93291239147593

Accuracy Test score: 0.6115485564304461
Accuracy Train score: 0.7753950338600452
AUC Score: 0.5181491170699803
F1 Score: 0.24489795918367346
Confusion Matrix: [[209  33]
 [115  24]]
Outsample data accuracy: 62.667719021310184

Accuracy Test score: 0.5695538057742782
Accuracy Train score: 0.7866817155756207
AUC Score: 0.5248974374219633
F1 Score: 0.3787878787878788
Confusion Matrix: [[167  75]
 [ 89  50]]
Outsample data accuracy: 56.43251775848461

Accuracy Test score: 0.6272965879265092
Accuracy Train score: 0.7347629796839729
AUC Score: 0.53973185088293
F1 Score: 0.297029702970297
Confusion Matrix: [[209  33]
 [109  30]]
Outsample data accuracy: 60.615627466456196

Accuracy Test score: 0.5459317585301837
Accuracy Train score: 0.7460496613995485
AUC Score: 0.487930316903502
F1 Score: 0.30522088353413657
Confusion Matrix: [[170  72]
 [101  38]]
Outsample data accuracy: 57.93212312549329

Accuracy Test score: 0.5826771653543307
Accuracy Train score: 0.7076749435665914
AUC Score: 0.49542184434270764
F1 Score: 0.2318840579710145
Confusion Matrix: [[198  44]
 [115  24]]
Outsample data accuracy: 62.27308602999211

Accuracy Test score: 0.5406824146981627
Accuracy Train score: 0.7234762979683973
AUC Score: 0.4730810393007907
F1 Score: 0.2616033755274262
Confusion Matrix: [[175  67]
 [108  31]]
Outsample data accuracy: 58.40568271507498

Accuracy Test score: 0.5853018372703412
Accuracy Train score: 0.698645598194131
AUC Score: 0.4883019204471134
F1 Score: 0.18556701030927839
Confusion Matrix: [[205  37]
 [121  18]]
Outsample data accuracy: 63.22020520915549

Accuracy Test score: 0.5669291338582677
Accuracy Train score: 0.7133182844243793
AUC Score: 0.4860871633271895
F1 Score: 0.23963133640552997
Confusion Matrix: [[190  52]
 [113  26]]
Outsample data accuracy: 60.615627466456196

1 Ответ

0 голосов
/ 10 января 2020

Когда вы изменяете k в KNN, вы используете другое число соседей, чтобы предсказать ваш выходной класс. Это означает, что ваш прогноз для данной точки «вне выборки» может измениться, если вы будете использовать больше соседей для прогнозирования ее класса.

Матрица путаницы просто дает вам представление о том, насколько хорошо вы справились (где была ваша модель). путать "и в каком направлении). Если вы видите, что ваша точность% изменяется, вероятно, ваша матрица путаницы также изменится.

confusion_matrix [0] [0] = Количество вещей, которые вы предсказали как 1, которые на самом деле являются 1

confusion_matrix [0] [1] = Количество вещей, которые вы предсказали как 1, которые на самом деле равны 0

confusion_matrix [1] [0] = Количество вещей, которые вы предсказали как 0, которые на самом деле являются 1

confusion_matrix [1] [1] = Количество вещей, которые вы предсказали как 0, которые на самом деле являются 0

см: https://en.wikipedia.org/wiki/Confusion_matrix

...