В API Watson Discovery Какой результат я должен использовать для определения наиболее релевантных документов: оценки или достоверности?

Question

Я работаю над коллекцией Discovery, на которой я никогда не тренировался.Когда я запускаю запрос естественного языка в своей коллекции, в result_metadata найденных документов я вижу 2 понятия: оценка и уверенность, например: "достоверность": 0.0847209066468392, "оценка": 3.4830062, а тег "retrieval_details" имеет значение "document_retrieval_strategy ":" untrainined "

В документации сначала написано, что" Оценка достоверности будет возвращена как для обученных, так и для необученных частных коллекций "и далее, что" Оценка достоверности для результата с document_retrieval_strategy ofнеподготовленный - это неконтролируемая оценка того, насколько релевантны результаты документа для запроса; он не взаимозаменяем с оценкой, полученной для обученных коллекций. Обученная коллекция может дать лучшие ответы на запросы на естественном языке, чем неподготовленные коллекции ».Точно: что это значит?Как рассчитывается этот показатель доверия?Какой результат я должен использовать, чтобы получить наиболее важные документы: оценка или доверие?

Answer 1

Вы должны использовать доверие. Оценка никогда не должна использоваться для определения порогов, поскольку это относительный расчет.

Также рекомендуется использовать «document_retrieval_strategy» в качестве части порогов, имеющих разные пороги для каждой стратегии, или, по крайней мере, один для обученных и один для неподготовленных, поскольку способ обработки доверия будет отличаться в зависимости от стратегии. приложенное.

Этот пост может дать вам несколько идей о том, как определить ваш порог.