Расчет надежности между оценками

Question

У меня есть следующий список списков:

[[1, 1, 1, 1, 3, 0, 0, 1],
 [1, 1, 1, 1, 3, 0, 0, 1],
 [1, 1, 1, 1, 2, 0, 0, 1],
 [1, 1, 0, 2, 3, 1, 0, 1]]

Где я хочу вычислить оценку надежности между оценками.Есть несколько оценщиков (строк).Я не могу использовать каппа Флейса, так как строки не суммируются с одним и тем же числом.Каков хороший подход в этом случае?

Answer 1

Основная проблема заключается в том, что вы неправильно применили данные, которые вы дали. См. здесь для правильной организации. У вас есть четыре категории (оценки 0-3) и восемь предметов. Таким образом, ваша таблица должна иметь восемь строк и четыре столбца, независимо от количества рецензентов. Например, верхняя строка содержит список оценок, присвоенных первому элементу:

[0, 4, 0, 0]   ... since everyone rated it a `1`.

Ваше значение -inf получено из деления на 0 для оценки P [j] для предпоследнего столбца.

---

Мой предыдущий ответ, нормализующий баллы, был основан на моем неверном истолковании Флейса; Я имел в виду другую надежность. Есть много способов вычислить такую ​​метрику; один из них - согласованность относительных рейтинговых баллов (которые можно получить при нормализации) другой способ - преобразовать строку каждого оценщика в график относительного ранжирования и вычислить сходство между этими графиками.

Обратите внимание, что Fleiss не идеально подходит для рейтинга ситуации с относительной метрикой: предполагается, что это задача классификации, а не ранжирование. Fleiss не чувствителен к тому, насколько далеко друг от друга находятся рейтинги; он знает только, что рейтинги отличались: спаривание (0,1) столь же разрушительно, как спаривание (0,3).

Answer 2

Ответом на эту проблему было использование альфа-балла Криппендорфа:

Описание Википедии

Библиотека Python

import krippendorff

arr = [[1, 1, 1, 1, 3, 0, 0, 1],
       [1, 1, 1, 1, 3, 0, 0, 1],
       [1, 1, 1, 1, 2, 0, 0, 1],
       [1, 1, 0, 2, 3, 1, 0, 1]]    
res = krippendorff.alpha(arr)