При использовании функции NLTK sentence_bleu в сочетании с SmoothingFunction методом 7 максимальный балл составляет 1.1167470964180197. При этом значение BLEU определено в диапазоне от 0 до 1.
Этот счет показывается для идеального совпадения со ссылкой. Я использую метод 7, так как у меня не всегда есть предложения длины 4, некоторые могут быть ниже. Использование метода 5 дает тот же результат. Другие методы дают 1,0 как идеальный результат.
Это происходит, когда я использую одну ссылку и кандидата, например:
from nltk.translate.bleu_score import sentence_bleu, SmoothingFunction
cc = SmoothingFunction()
reference = ['overofficious 98461 54363 39016 78223 52180']
candidate = 'overofficious 98461 54363 39016 78223 52180'
sentence_bleu(reference, candidate, smoothing_function=cc.method7)
Это дает оценку: 1.1167470964180197
Я что-то не так делаю, это ожидаемое поведение или есть ошибка в реализации функции сглаживания?