Соглашение между оценщиками (Fleiss 'Kappa, Krippendorff's Alpha и т. Д.) Java API? - PullRequest
0 голосов
/ 18 февраля 2010

Я работаю над созданием Корпуса вопросов / ответов в рамках моей магистерской диссертации. Я смотрю на оценку моей ожидаемой таксономии типа ответа с точки зрения межгосударственного соглашения / надежности, и мне было интересно: кто-нибудь знает о каком-либо достойном (предпочтительно бесплатном) Java API (-ах), который может сделать это?

Я вполне уверен, что все, что мне нужно, это Каппа Флейса и Альфа Криппендорфа на данный момент.

Weka предоставляет статистику каппа в своем оценочном пакете, но я думаю, что он может только оценить классификатор, и я еще не на этом этапе (потому что я все еще строю набор данных и классы).

Спасибо.

Ответы [ 3 ]

1 голос
/ 23 февраля 2011

Я портировал реализацию капли Fleiss для Python / numpy в формате matlab.

http://code.google.com/p/hydrat/source/browse/src/hydrat/common/fleiss.py

Это не сложно реализовать, возможно, вы могли бы перенести его на Java самостоятельно.

1 голос
/ 13 мая 2010

Проверьте QDAP (Университет Питтсбурга) Открытый исходный код.

0 голосов
/ 25 февраля 2011

Я не смог вовремя найти существующий Java API для своих исследований, поэтому я сам реализовал Kappa Fleiss и Alpha Krippendorff. Предварительные результаты нашего исследования можно найти в этой статье .

...