Соглашение о добавлении нескольких меток с Коэном Каппой - PullRequest
Новая
       22

Соглашение о добавлении нескольких меток с Коэном Каппой

0 голосов
/ 11 сентября 2018

Скажите, что я хочу иметь аннотации для документов. Каждый документ может быть аннотирован несколькими метками. В этом примере у меня есть 2 аннотатора (a и b), и каждый из них помечает два документа. 

from sklearn.metrics import cohen_kappa_score
annotator_a = [ 
    ["a","b","c"],
    ["d","e"]
]
annotator_b = [
    ["b","c"],
    ["f"]
]

Annotator_a помечает документ 1 метками a, b и c. Annotator_b помечает документы 1 метками b и c.

Я пытался рассчитать соглашение об аннотаторе, используя: 

cohen_kappa_score(annotator_a, annotator_b)

Но это приводит к ошибке: 

ValueError: You appear to be using a legacy multi-label data representation. Sequence of sequences are no longer supported; use a binary array or sparse matrix instead.

Есть какие-нибудь идеи о том, как можно рассчитать аннотаторное соглашение для этого набора?

Ответы [ 2 ]

0 голосов
/ 19 сентября 2018

Каппа Коэна не поддерживает, не поддерживает ввод нескольких меток. Вместо того, чтобы использовать Каппу Коэна, можно использовать Альфу Криппендорфа. Эта мера поддерживает соглашение между участниками, отсутствующие значения и неисключительные темы. Это доступно на pypi .

0 голосов
/ 12 сентября 2018

Конкретная ошибка связана с неподдерживаемым представлением вывода с несколькими метками (см. Документацию type_of_target функции sklearn).Даже при правильном выводе с несколькими метками вы все равно получите ошибку, поскольку cohen_kappa_score не поддерживает ввод с несколькими метками (см. Ниже).Фактически, каппа Коэна может применяться для задач с несколькими классами только для исключительных классов , и вывод с несколькими метками по определению не является исключительным.

То, что вы могли бы сделать, - это иметь двоичный классификатор для каждой метки и вычислять каппу Коэна для каждой метки.Если вам нужен уникальный номер, представляющий соглашение, вы можете вычислить среднее значение каппа по меткам.

Пример: каппа Коэна для мульти-метки 

to_dict = lambda x: {k: [1 if k in y else 0 for y in x] for k in labels}
a_dict = to_dict(annotator_a)
b_dict = to_dict(annotator_b)
cohen_dict = {k: cohen_kappa_score(a_dict[k], b_dict[k]) for k in labels}
cohen_avg = np.mean(list(cohen_dict.values()))

print(f'a_dict: {a_dict}')
print(f'b_dict: {b_dict}')
print(f'cohen_dict: {cohen_dict}')
print(f'cohen_avg: {cohen_avg}')

вывод: 

a_dict: {'a': [1, 0], 'b': [1, 0], 'c': [1, 0], 'd': [0, 1], 'e': [0, 1], 'f': [0, 0]}
b_dict: {'a': [0, 0], 'b': [1, 0], 'c': [1, 0], 'd': [0, 0], 'e': [0, 0], 'f': [0, 1]}
cohen_dict: {'a': 0.0, 'b': 1.0, 'c': 1.0, 'd': 0.0, 'e': 0.0, 'f': 0.0}
cohen_avg: 0.3333333333333333

как преобразовать в последовательность последовательности, чтобы исправить представление с несколькими метками 

from sklearn.preprocessing import MultiLabelBinarizer
m = MultiLabelBinarizer(classes=list('abcdef'))
a_multi = m.fit_transform(annotator_a)
b_multi = m.fit_transform(annotator_b)
print(f'a_multi:\n{a_multi}')
print(f'b_multi:\n{b_multi}')
cohen_kappa_score(a_multi, b_multi)

вывод: 

a_multi:
[[1 1 1 0 0 0]
 [0 0 0 1 1 0]]
b_multi:
[[0 1 1 0 0 0]
 [0 0 0 0 0 1]]
...
ValueError: multilabel-indicator is not supported
...