В моем наборе данных у меня есть набор категорий, где для каждой категории у меня есть набор из 150 примеров. Каждый пример был аннотирован как истина / ложь 5 людьми. Я вычисляю межаннотаторское соглашение, используя показатель Фляйсс-каппа:
1) for the entire dataset
2) for each category in particular
Однако полученные мной результаты показывают, что показатель Фляйсс-каппа для всего набора данных не равен среднему баллу Фляйсс-каппа для каждой категории. В своих вычислениях я использую стандартный встроенный пакет для вычисления результатов. Может ли это быть из-за ошибки в моих матричных вычислениях, или оценки не должны быть равными? Спасибо!