Есть ли способ проверить неправильный прогноз во время перекрестной проверки в rasa nlu?

Question

Я новичок в НЛП. Я начал использовать rasa nlu для своего набора данных из 35 тыс. Примеров. Я тренировался с использованием tenorflow_embedding. Я получил следующие результаты.

2019-05-08 07:56:15 INFO     rasa_nlu.model  - Finished training component.
2019-05-08 08:01:51 INFO     __main__  - CV evaluation (n=10)
2019-05-08 08:01:51 INFO     __main__  - Intent evaluation results
2019-05-08 08:01:51 INFO     __main__  - train Accuracy: 0.952 (0.003)
2019-05-08 08:01:51 INFO     __main__  - train F1-score: 0.947 (0.003)
2019-05-08 08:01:51 INFO     __main__  - train Precision: 0.954 (0.003)
2019-05-08 08:01:51 INFO     __main__  - test Accuracy: 0.932 (0.005)
2019-05-08 08:01:51 INFO     __main__  - test F1-score: 0.927 (0.006)
2019-05-08 08:01:51 INFO     __main__  - test Precision: 0.932 (0.006)
2019-05-08 08:01:51 INFO     __main__  - Entity evaluation results
2019-05-08 08:01:51 INFO     __main__  - Entity extractor: ner_crf
2019-05-08 08:01:51 INFO     __main__  - train Accuracy: 0.985 (0.000)
2019-05-08 08:01:51 INFO     __main__  - train F1-score: 0.985 (0.000)
2019-05-08 08:01:51 INFO     __main__  - train Precision: 0.985 (0.000)
2019-05-08 08:01:51 INFO     __main__  - Entity extractor: ner_crf
2019-05-08 08:01:51 INFO     __main__  - test Accuracy: 0.983 (0.001)
2019-05-08 08:01:51 INFO     __main__  - test F1-score: 0.982 (0.001)
2019-05-08 08:01:51 INFO     __main__  - test Precision: 0.982 (0.001)
2019-05-08 08:01:51 INFO     __main__  - Finished evaluation

Есть ли способ проверить, где мой набор данных отсутствует или неправильный прогноз во время тестирования набора данных?

Answer 1

Начиная с версии 1.0.4, режим перекрестной проверки обеспечивает все выходные данные регулярной оценки с предоставленными тестовыми данными.Таким образом, у вас будут ошибки, матрица путаницы, гистограмма достоверности и (если требуется) примеры успеха.