Как оценить автоматическую сводку, сгенерированную с помощью золотой сводки, с помощью метрики Rouge?

Question

Я работаю над системой автоматического суммирования и хочу оценить итоговое итоговое значение по сумме золота.У меня есть несколько резюме с различной длиной для каждого случая.Так что я немного запутался здесь.мой вопрос заключается в том, как я должен оценить свое резюме с этими золотыми резюме.я должен оценивать мое с каждой золотой сводкой, затем усреднять результаты или предполагать объединение золотой сводки как золотой свод, а затем оценивать мой с этим?

Заранее спасибо

Answer 1

Мера ROUGE сравнивает вашу сводку со всеми справочными сводками.

Например, ROUGE-N вычисляется на основе суммы одинаковых подсчетов n-граммов между вашей сводкой и каждой из справочных сводок, деленной наобщее количество n-грамм во всех справочных резюме.

Этот документ на ROUGE поможет вам.