У меня есть 10 предложений, 5 аннотаторов и 6 категорий.
Аннотатор может комментировать предложение как: CATEG1 = Y, CATEG2 = Y, CATEG3 = Y, CATEG4 = Y, CATEG5 = Y, CATEG6 =Да или, действительно, любая комбинация, которую он / она любит.
Как я могу использовать Fleiss Kappa для составления соглашения об аннотаторе?
Я посмотрел пример из Википедии, но у них 14 оценщикови каждый из них может выбрать только одну категорию, в то время как у меня каждый комментатор может выбрать столько, сколько потребуется.