Алгоритм оценки сравнений

Question

Мне сложно определить алгоритм оценки для чего-то вроде рецензируемой исследовательской работы.

Возьми этот класс:

public class ResearchPaper
{
    int StudentID;
    int PaperID;
    string Title;
    byte Grade;
}

Grade - это оценка от 0 до 100 (от F до A +), которая первоначально присваивается учителем.

После того, как оценка была присвоена, она может (косвенно) быть изменена путем обратной связи с коллегами посредством сравнений на бумаге. Если коллега говорит, что бумага B (класс 75) ЛУЧШЕ, чем бумага A (класс 80), то бумага A теряет балл (новый класс 79), а бумага B получает балл (новый класс 76). Это может происходить тысячи раз, и бумага В может иметь более высокую оценку, чем бумага А (что хорошо).

Мой план состоял в том, чтобы НЕ менять оценки, если экспертная оценка согласна с тем, что бумага А на самом деле лучше, чем бумага В (так, как их оценил учитель), или бумага А набрала бы баллы в процессе бегства, пока не достигла 100 (что устанавливается как максимум).

Проблема с этим алгоритмом состоит в том, что при МНОЖЕСТВ рецензирования все бумаги в конечном итоге приближаются к одной и той же оценке через даже относительно необычные изменения оценок, которые фактически игнорируют первоначально назначенную оценку учителем.

Есть ли лучший алгоритм для чего-то подобного?

Answer 1

Я думаю, что у вас довольно хорошая система, но я бы сделал Grade a sbyte и отделил бы рецензии от начальных оценок.Если у вас есть более 100 статей, и одна бумага не выбрана для повышенного голоса, у вас будут серьезные проблемы с моральным духом класса, если вы не будете использовать подписанные значения.из этого кодекса вы можете решить, какие работы понравились или не понравились студентам.Что в идеальном мире даст вам результаты, напоминающие следующее:

Answer 2

Если вы корректируете оценки только в том случае, если рецензирование происходит в направлении, противоположном исходным оценкам, единственный возможный результат при большом количестве рецензий заключается в том, что они заканчиваются одинаковой оценкой.

Вы настроены на рецензирование, а не на оценки?Проблема заключается в том, что такая система также будет иметь тенденцию к отклонению для бумаг, исходные оценки которых очень сильно отличаются друг от друга / очень близки по сравнению.

Возможно, рецензирование также может быть оценками, такими же, как обычные оценки.Храните их отдельно;если у бумаги достаточно ровных оценок, они могут быть усреднены с исходной оценкой, но на намного более низком уровне эффективности;возможно даже 100: 1.

Я также думаю, что вам может потребоваться более высокий уровень точности для оценок, если вы собираетесь использовать какую-либо систему, подобную этой.