Каппа Коэна в пакете ррр

Question

Я пробовал этот простой тестовый пример:

df <- data.frame(x1 = as.factor(c("a", "a", "a", "a", "b")),
                 x2 = as.factor(c("a", "a", "a", "b", "b")))

Рейтинги идентичны 4 из 5 раз, предполагаемое случайное соглашение - 1/2. Я поместил числа в простую формулу со страницы википедии:

(k <- (4/5 - 1/2) / (1 - 1/2))
[1] 0.6

Но функция kappa2 из пакета irr дает мне:

irr::kappa2(df)
 Cohen's Kappa for 2 Raters (Weights: unweighted)

 Subjects = 5 
   Raters = 2 
    Kappa = 0.545 

        z = 1.37 
  p-value = 0.171

Опция по умолчанию для «веса» - «невзвешенная», так почему же результат здесь отличается от моего ручного подхода? Есть ли какая-то настройка, которая не описана на странице справки для функции? Или я как-то испортил формулу для каппы Коэна?

Answer 1

Вы неправильно вычисляете каппу.

Еще раз посмотрите на статью Википедии , в частности пример, который они приводят.

Вот проработанный пример, показывающийте же промежуточные шаги для иллюстрации, но на основе ваших данных.

table(df)
#   x2
#x1  a b
#  a 3 1
#  b 0 1

p0 <- (3 + 1) / (3 + 1 + 1 + 0)
pa <- (3 + 1) / (3 + 1 + 1 + 0) * (3 + 0) / (3 + 1 + 1 + 0)
pb <- (0 + 1) / (3 + 1 + 1 + 0) * (1 + 1) / (3 + 1 + 1 + 0)
pe <- pa + pb
kappa <- (p0 - pe) / (1 - pe)
#[1] 0.5454545

Значение точно совпадает с одним irr::kappa2 отчетами.