Я использую пакет pytrec_eval (https://github.com/cvangysel/pytrec_eval) и хочу использовать AU C (область под кривой RO C) metri c, но похоже, что это не одна из поддерживаемых мер, как проверено ниже.
import pytrec_eval
print(pytrec_eval.supported_measures)
Ответ на выше:
{'set_P', 'map_cut', 'num_ret', 'ndcg_rel', 'set_map', 'G', 'relstring', 'binG', 'ndcg_cut', 'gm_bpref', 'infAP', 'set_relative_P', 'iprec_at_recall', 'num_nonrel_judged_ret', 'num_rel', 'bpref', 'runid', '11pt_avg', 'recall', 'Rndcg', 'Rprec_mult', 'success', 'set_F', 'relative_P', 'gm_map', 'set_recall', 'num_q', 'utility', 'Rprec', 'num_rel_ret', 'map', 'ndcg', 'P', 'recip_rank'}
Это касается версии pytrec_eval установлен на моей машине, или AU C действительно не существует (что было бы интересно, если бы это был такой распространенный метод поиска информации c)?