У меня есть вопрос во время моего использования tenor2tensor для задачи text2text.
Я определил проблему и использовал свой собственный набор данных для обучения, на тензорной доске отображаются метрики оценки, которые включают в себя точность, точность для каждой последовательности, и балл BLEU.
Мой вопрос:
- В чем разница между "точностью" и "точностью на последовательность"
- Как вычисляется BLEU? (Для последовательности или токена)
Предположим, что мой ввод
input1, input2, input3
и вывод
output1, output2, output3, output4
, а основополагающая истина равна
truth1, output2, truth3
Итак, что для этого примера обучения, какова оценка «точность» и «точность на последовательность»? Прочитав metrics.py, думаю, "точность" рассчитывается для каждого токена? (1/3 для этого примера, так как выход2 предсказан правильно), а «точность на последовательность» равна 0? (потому что только когда выходная и заземленная истина полностью идентичны (допускается неправильное выходное значение4), значение может быть равно 1, а «точность на последовательность» вычисляется как completely_matched_example / all_example). Является ли это понимание правильным?
Для вопроса 2 оно аналогично вопросу 1: при подсчете баллов BLEU оно рассчитывается для каждого примера и вычисляется среднее для всех примеров или рассчитывается для каждого токена и отбрасывается понятие «примеры» (т.е. ввод предложения и вывод предложения).